🗂 OpenAI обнаружила, что 30% задач популярного теста для ИИ-кодинга неработоспособны

OpenAI провела аудит бенчмарка SWE-Bench Pro, широко используемого для оценки навыков программирования у ИИ-моделей, и выяснила, что примерно 30% его задач содержат ошибки. Компания отзывает свою предыдущую поддержку этого теста.

Для проверки OpenAI сначала запустила автоматический скрипт, который выявил 286 подозрительных задач. Затем AI-агенты на базе Codex детально проанализировали каждый случай, а финальное решение принимал человек. В итоге 200 задач (27,4%) были признаны дефектными. Параллельная проверка пятью опытными разработчиками выявила ещё больше ошибок — 249 задач (34,1%). Люди оказались строже AI-агентов, хотя в 74% случаев их оценки совпали.

Проблемы делятся на четыре категории: слишком строгие тесты (отклоняющие рабочие решения), слишком размытые (ожидающие скрытых требований), слишком поверхностные (пропускающие неполные решения) и некорректные описания задач. Например, в задаче от OpenLibrary требовался один пробел, а скрытый тест ожидал два — AI, правильно следовавший инструкции, проваливал тест.

Задачи были взяты из реальных коммитов проектов, изначально написанных для людей, а не для чистого тестирования AI. За восемь месяцев точность топ-моделей на публичной версии теста выросла с 23,3% до 80,3%. Ранее OpenAI уже отказалась от SWE-bench Verified по схожим причинам. Теперь компания призывает индустрию создавать новые бенчмарки с участием опытных разработчиков — надёжные и устойчивые к «натаскиванию».

#Ai #Benchmark #Agents #OpenAi #LLM #Testing

🗡️ Оценка Blacksmith выросла почти в 10 раз: стартап для проверки ИИ-кода привлёк $45 млн

Стартап Blacksmith, который помогает компаниям тестировать и проверять код перед продакшеном, закрыл раунд Series B на $45 млн. Раунд возглавила Peak XV Partners, оценка Blacksmith достигла $550 млн — почти в 10 раз больше, чем $60 млн год назад. Общий объём привлечённого финансирования составил $58,5 млн.

Blacksmith основан в 2024 году. Сейчас платформой пользуются более 5000 клиентов, включая Mercury, Supabase, Clerk, Ashby и Expensify. Год назад их было около 700. Компания начинала как облачный провайдер для CI-задач: помогала запускать сборки и тесты, необходимые для валидации кода. Позже добавила Codesmith — ИИ-агента, который автоматически исправляет упавшие проверки.

На фоне стремительного роста Cursor, OpenAI Codex и Claude Code главной проблемой стало качество сгенерированного кода. «Валидация кода остаётся узким местом, и теперь оно ещё заметнее, потому что кода пишут больше», — отмечает CEO Адитья Джаяпракаш. Blacksmith делает ставку на скорость и доступность тестирования. Выручка компании уже достигает «десятков миллионов долларов», а крупные клиенты платят более $1 млн в год.

Рынок переполнен: конкурируют GitHub Actions, Cursor Automations, встроенные проверки Codex и Claude Code, а также облачные сервисы AWS, Azure и Google Cloud. В планах Blacksmith — расширение до полного набора инструментов, чтобы разработчики могли быстрее писать, проверять и мёржить код.

#AI #Development #Startups #Testing #Blacksmith

🧠 Zhipu тихо тестирует GLM-5.3-Highspeed в ZCode: пользователи зафиксировали около 490 токенов/с

Zhipu AI начала ограниченное тестирование ускоренной версии своей новейшей модели. GLM-5.3-Highspeed появилась в ZCode - фирменном инструменте компании для написания кода - в версии 3.15.1. Доступ выдаётся в формате gray release случайно выбранным подписчикам, поэтому модель недоступна большинству даже на платных тарифах: журналист QbitAI на плане Lite не смог подключить её вручную.

Внимание привлёк не официальный анонс, а скриншот пользователя, нашедшего модель: генерация шла примерно на 490 токенов в секунду. При таком темпе 10 000 токенов выдаются примерно за 20 секунд. Zhipu не публиковала ни анонса, ни официальных показателей пропускной способности, так что цифру стоит считать пользовательским замером, а не гарантированным уровнем сервиса.

Для сравнения: выпущенная месяц назад GLM-5.3-FlashX пиковала около 200 токенов/с, а GLM-5.3-Flash на API Z.ai показывала по замерам Artificial Analysis порядка 60 токенов/с. Ранее модель уже засветилась в каталоге Pi - открытого кодинг-агента: там у неё контекстное окно 1 млн токенов, максимальный вывод 131 072 токена и режимы reasoning low/high/max. На Reddit также обсуждают, не связана ли новинка с анонимной моделью Omen Alpha из OpenCode, но подтверждений от Zhipu нет.

Если скорость в районе 490 токенов/с подтвердится, ключевой выигрыш получат длительные агентные и кодинг-задачи, где ожидание генерации накапливается.

🎨 qvabo.studio/tg · картинки и видео

#AI #Zhipu #GLM #ZCode #Development #Testing