❗️Новый бенчмарк SOOHAK: AI-модели уверенно решают задачи, у которых нет решения

Консорциум из 64 математиков представил бенчмарк SOOHAK для оценки AI-моделей. Он состоит из 439 оригинальных задач, разделенных на два набора: «Challenge» (340 задач уровня graduate и research) и «Refusal» (99 заведомо некорректных задач с противоречиями или отсутствием ответа).

Каждую задачу написали вручную 38 профессоров, 25 аспирантов и 5 призеров IMO. Использование LLM при создании было запрещено — нарушителей исключали.

Результаты показали, что research-level математика остается серьезным барьером. Gemini 3 Pro набрал 30% на сложном наборе, GPT-5 — 26%, Claude Opus 4.5 — лишь 10%. 124 задачи не решила ни одна модель.

Еще тревожнее результаты на наборе Refusal: ни одна модель не преодолела 50% правильных отказов. GLM-5 показал лучший результат (около 50%), Qwen3 — менее 3%. Модели часто уверенно выдают числовой ответ на нерешаемую задачу, вместо того чтобы указать на ошибку в условии.

Авторы отмечают, что обнаружение некорректных задач — «новая цель оптимизации, которую текущие модели не решают напрямую».

#Ai #Benchmark #Research #SOOHAK

❗️AgentAtlas: Новая система оценки LLM-агентов выходит за рамки лидербордов

Исследователи представили AgentAtlas — фреймворк для комплексной оценки агентов на базе больших языковых моделей (LLM). Работа, опубликованная на arXiv, предлагает отказаться от единого показателя успешности задачи в пользу многомерного анализа поведения агентов.

Авторы выделили четыре ключевых компонента: таксономию решений из шести состояний (Act/Ask/Refuse/Stop/Confirm/Recover), девятикатегоричную классификацию ошибок траекторий с двумя ортогональными метками (источник ошибки и влияние), методологию оценки влияния подсказок на кажущиеся способности модели, а также аудит покрытия 15 существующих бенчмарков по шести поведенческим осям.

В демонстрационном эксперименте на восьми моделях (четыре проприетарных и четыре открытых) удаление явного меню меток снизило точность траекторий на 14–40 процентных пунктов, сведя все модели к узкому диапазону 0.54–0.62. Ни одна модель не показала лидерства одновременно по точности управления, диагностике траекторий и сохранению полезности инструментального контекста.

Источник: ArXiv cs.AI (arXiv:2605.20530)

#Tech #LLM #AI #Agents #Benchmark

🦾 NIST предлагает базовый бенчмарк для оценки человекоподобных роботов

Национальный институт стандартов и технологий США (NIST) выступил с инициативой создания единого базового стандарта производительности для человекоподобных роботов (humanoid robots). Предложенный бенчмарк призван унифицировать методики тестирования и сравнения антропоморфных машин, что критически важно для их безопасного внедрения в промышленность и сервисные сектора.

Стандарт включает набор контрольных испытаний, оценивающих ключевые параметры: устойчивость при ходьбе, точность манипуляций, энергоэффективность и время автономной работы. NIST подчёркивает, что без единой метрики невозможно объективно сравнивать разработки разных компаний — от Tesla Optimus до Figure 02. Бенчмарк также учитывает сценарии взаимодействия человека и робота, включая безопасные остановки и реакцию на внештатные ситуации.

Для разработчиков это означает появление чётких критериев, которым должны соответствовать коммерческие гуманоиды. Ожидается, что стандарт ускорит сертификацию роботов для работы на заводах и складах, а также снизит регуляторные барьеры. NIST планирует открыть публичное обсуждение документа до конца 2026 года.

#Tech #AI #NIST #HumanoidRobots #Robotics #Standarts #Benchmark

🔍 ИИ-поисковики не исследуют интернет, а подтверждают свои знания

Новое исследование показало, что ведущие AI-агенты для поиска в интернете на самом деле не проводят полноценного исследования сети — они в основном используют веб для подтверждения уже имеющихся у них ответов. Как только модели сталкиваются с задачами, выходящими за пределы их знаний, эффективность поиска резко падает.

Исследователи из Харбинского политехнического университета и Xiaohongshu протестировали 11 моделей на бенчмарке BrowseComp. Без доступа к поиску MiniMax M2.5 решил 44,5% задач по памяти, а Kimi K2.6 — 62% на китайской версии. Когда же из поискового индекса удалили все подтверждающие документы, результаты моделей упали: MiniMax M2.5 — с 44,5% до 8%, Kimi-K2.6 — с 25,5% до 2,3%. Поиск не помогает, а мешает, когда нет подтверждающих результатов.

Ученые создали новый бенчмарк LiveBrowseComp с 335 вопросами, основанными на событиях последних 90 дней. Он использует постоянно обновляемые источники (базы фильмов, игр, уязвимости, каталоги землетрясений) и исключает громкие мировые события. Это позволяет оценить реальные исследовательские способности AI-агентов, а не их память.

#AI #Search #Benchmark #Research #LiveBrowseComp

📝 Sakana AI и KPMG представили CoffeeBench — бенчмарк для LLM-агентов в многолетней экономической среде

Sakana AI совместно с аудиторской фирмой KPMG Azsa опубликовали CoffeeBench — новый бенчмарк для оценки долгосрочных управленческих способностей LLM-агентов. Тест симулирует цепочку поставок в кофейной индустрии: шесть агентов (фермеры, обжарщики, розничные продавцы) управляют бизнесом в течение 90 дней, взаимодействуя через ценовые переговоры, заказы и управление запасами. Цель — максимизировать чистую прибыль.

Эксперименты показали значительные различия между моделями. GPT-5.5 и Claude Opus 4.7 активно вели переговоры и наращивали прибыль, тогда как Claude Haiku 4.5 впадал в «ступор» — анализировал ситуацию, но не предпринимал действий, что приводило к убыткам. Инструментарий включает открытый код на GitHub, техническую статью и треки траекторий агентов. Бенчмарк также планируется использовать для изучения механизмов финансовых махинаций (циклические сделки, принудительные продажи) в условиях сильного давления на KPI.

#AI #Research #Agents #SakanaAI #CoffeeBench #LLM #Benchmark

📝 FFASR Leaderboard: новый бенчмарк для ASR в реальных акустических условиях

Hugging Face и Treble Technologies запустили FFASR Leaderboard — первый открытый бенчмарк для оценки систем распознавания речи (ASR) в условиях дальнего поля. Платформа симулирует 14 типов помещений с разной акустикой и уровнем шума, позволяя разработчикам увидеть, как модели ведут себя вне стерильных лабораторных условий.

Разрыв между показателями на стандартных тестах (вроде LibriSpeech) и реальным развёртыванием оказался значительным: при низком SNR (соотношении сигнал/шум) WER (словесная ошибка) в дальнем поле в несколько раз выше, чем при ближнем, даже на одном и том же аудиоматериале. Бенчмарк использует гибридное волновое моделирование, валидированное на реальных измерениях, и стандартизированное оборудование для всех сабмитов.

На дорожной карте — поддержка сценариев с несколькими говорящими, микрофонных решёток и эхоподавления. Разработчики могут отправлять свои модели через Hugging Face Space и отслеживать позиции на Pareto-фронте по соотношению точности и скорости (RTFx).

#AI #ASR #HuggingFace #FFASR #Benchmark #SpeechRecognition

3️⃣ Только три ИИ-модели завершили 500-дневный тест на выживание стартапа с прибылью

Исследователи из Принстона разработали бенчмарк CEO-Bench, который симулирует управление SaaS-компанией NovaMind в течение 500 дней. Агент управляет бизнесом через Python API с 34 инструментами и базой данных из 19 таблиц, принимая решения по ценообразованию, маркетингу, R&D и переговорам. Успех измеряется остатком cash на счету.

Из 14 протестированных моделей большинство обанкротились. Три модели завершили лучший запуск с суммой выше стартового $1 млн: Claude Fable 5 ($47.15 млн), Claude Opus 4.8 ($27.8 млн) и GPT-5.5 ($21.3 млн). Примечательно, что простая эвристика без LLM достигла $15.76 млн, обойдя все модели, кроме трёх лидеров. Даже лучшие агенты далеки от оценочного потолка в $2.2 млрд.

Ключевой вывод: модели пока не способны поддерживать долгосрочную стратегию. Они генерируют корректные команды и SQL-запросы, но теряют фокус на горизонте в сотни дней. Бенчмарк измеряет «стратегический интеллект» — способность управлять организацией, а не просто выполнять отдельные задачи.

#AI #Benchmark #Tech #CEO #Startups #Research

🗒 ScarfBench: Новый бенчмарк для оценки AI-агентов при миграции Java-фреймворков

Исследователи IBM представили ScarfBench (Self-Contained Application Refactoring Benchmark) — открытый бенчмарк для оценки AI-агентов на задачах миграции между корпоративными Java-фреймворками: Spring, Jakarta EE и Quarkus.

В отличие от традиционных бенчмарков, сравнивающих сгенерированный код с эталоном, ScarfBench проверяет, собирается ли приложение, разворачивается ли и сохраняет ли поведение. Бенчмарк включает 34 приложения, 102 реализации фреймворков, 204 задачи миграции, ~151K строк кода и 1331 экспертный тест.

Результаты тестирования современных кодинг-агентов показали, что даже лучшие из них достигают менее 10% успеха по поведенческим тестам. Миграция фреймворков требует не просто перевода кода, но адаптации систем сборки, управления зависимостями и сохранения семантики — это принципиально сложнее, чем исправление багов или генерация кода.

Практическая значимость: ScarfBench задаёт реалистичный стандарт оценки AI для enterprise-разработки. Инструмент доступен на GitHub и Hugging Face Spaces.

#AI #Benchmark #ScarfBench #Agents #Java #Enterprise #IBM

🗂 OpenAI обнаружила, что 30% задач популярного теста для ИИ-кодинга неработоспособны

OpenAI провела аудит бенчмарка SWE-Bench Pro, широко используемого для оценки навыков программирования у ИИ-моделей, и выяснила, что примерно 30% его задач содержат ошибки. Компания отзывает свою предыдущую поддержку этого теста.

Для проверки OpenAI сначала запустила автоматический скрипт, который выявил 286 подозрительных задач. Затем AI-агенты на базе Codex детально проанализировали каждый случай, а финальное решение принимал человек. В итоге 200 задач (27,4%) были признаны дефектными. Параллельная проверка пятью опытными разработчиками выявила ещё больше ошибок — 249 задач (34,1%). Люди оказались строже AI-агентов, хотя в 74% случаев их оценки совпали.

Проблемы делятся на четыре категории: слишком строгие тесты (отклоняющие рабочие решения), слишком размытые (ожидающие скрытых требований), слишком поверхностные (пропускающие неполные решения) и некорректные описания задач. Например, в задаче от OpenLibrary требовался один пробел, а скрытый тест ожидал два — AI, правильно следовавший инструкции, проваливал тест.

Задачи были взяты из реальных коммитов проектов, изначально написанных для людей, а не для чистого тестирования AI. За восемь месяцев точность топ-моделей на публичной версии теста выросла с 23,3% до 80,3%. Ранее OpenAI уже отказалась от SWE-bench Verified по схожим причинам. Теперь компания призывает индустрию создавать новые бенчмарки с участием опытных разработчиков — надёжные и устойчивые к «натаскиванию».

#Ai #Benchmark #Agents #OpenAi #LLM #Testing

📊 GPT-5.6 Sol почти догоняет Fable 5 в бенчмарках при цене в три раза ниже

Новый флагман OpenAI, модель GPT-5.6 Sol, демонстрирует результаты, почти равные Claude Fable 5 от Anthropic, но стоит втрое дешевле. По данным независимой платформы Artificial Analysis, Sol (max) набирает 59 баллов в Intelligence Index — всего на один балл меньше, чем Fable 5 (max). В новом Coding Agent Index Sol (max) занимает первое место с 80 баллами при работе в среде OpenAI Codex, обходя все остальные модели.

Стоимость Sol составляет $1.04 за задачу — примерно треть от $2.75 у Fable 5. Младшие версии Terra и Luna стоят $0.55 и $0.21 соответственно. GPT-5.6 также вводит плату за cache-write, что дополнительно снижает расходы. Цены за миллион токенов: $5/$30 (Sol), $2.50/$15 (Terra), $1/$6 (Luna) для ввода/вывода. Кэш-чтения получают скидку 90%. Sol также расходует до 54% меньше выходных токенов для агентных задач кодинга по сравнению с аналогами.

Давление на цены в индустрии ИИ нарастает: китайские открытые модели, Meta с Muse 1.1 и xAI с Grok 4.5 заставляют лидеров снижать ставки. OpenAI пока дороже этих конкурентов, но теперь оказывает давление на Anthropic с другой стороны.

#Business #AI #OpenAI #GPT56 #Benchmark #Price #Anthropic

🟰 Moonshot Kimi K3 обходит Fable 5 во фронтенд-коде, но проваливает сложную математику

Китайская модель Kimi K3 от Moonshot привлекла внимание западного AI-сообщества, показав неоднозначные результаты в двух ключевых бенчмарках. В тесте Code Arena: Frontend, основанном на рейтинге Elo по предпочтениям людей, Kimi K3 набрала 1 679 баллов, обойдя Claude Fable 5 (1 631) и GPT-5.6 Sol (1 618). Это первый случай, когда китайская модель заняла первое место в этом бенчмарке.

Однако на сложных математических задачах картина кардинально меняется. Согласно данным Epoch AI, на FrontierMath Tier 4 — самом трудном уровне экспертных задач — Kimi K3 показывает лишь около 39% точности. Для сравнения, модели OpenAI и Anthropic в некоторых случаях достигают почти 90%. Разрыв демонстрирует сохраняющееся отставание китайских моделей в областях, требующих глубокого логического вывода.

#AI #KimiK3 #Moonshot #Benchmark #Comparison