🦾 NIST предлагает базовый бенчмарк для оценки человекоподобных роботов

Национальный институт стандартов и технологий США (NIST) выступил с инициативой создания единого базового стандарта производительности для человекоподобных роботов (humanoid robots). Предложенный бенчмарк призван унифицировать методики тестирования и сравнения антропоморфных машин, что критически важно для их безопасного внедрения в промышленность и сервисные сектора.

Стандарт включает набор контрольных испытаний, оценивающих ключевые параметры: устойчивость при ходьбе, точность манипуляций, энергоэффективность и время автономной работы. NIST подчёркивает, что без единой метрики невозможно объективно сравнивать разработки разных компаний — от Tesla Optimus до Figure 02. Бенчмарк также учитывает сценарии взаимодействия человека и робота, включая безопасные остановки и реакцию на внештатные ситуации.

Для разработчиков это означает появление чётких критериев, которым должны соответствовать коммерческие гуманоиды. Ожидается, что стандарт ускорит сертификацию роботов для работы на заводах и складах, а также снизит регуляторные барьеры. NIST планирует открыть публичное обсуждение документа до конца 2026 года.

#Tech #AI #NIST #HumanoidRobots #Robotics #Standarts #Benchmark

🔍 ИИ-поисковики не исследуют интернет, а подтверждают свои знания

Новое исследование показало, что ведущие AI-агенты для поиска в интернете на самом деле не проводят полноценного исследования сети — они в основном используют веб для подтверждения уже имеющихся у них ответов. Как только модели сталкиваются с задачами, выходящими за пределы их знаний, эффективность поиска резко падает.

Исследователи из Харбинского политехнического университета и Xiaohongshu протестировали 11 моделей на бенчмарке BrowseComp. Без доступа к поиску MiniMax M2.5 решил 44,5% задач по памяти, а Kimi K2.6 — 62% на китайской версии. Когда же из поискового индекса удалили все подтверждающие документы, результаты моделей упали: MiniMax M2.5 — с 44,5% до 8%, Kimi-K2.6 — с 25,5% до 2,3%. Поиск не помогает, а мешает, когда нет подтверждающих результатов.

Ученые создали новый бенчмарк LiveBrowseComp с 335 вопросами, основанными на событиях последних 90 дней. Он использует постоянно обновляемые источники (базы фильмов, игр, уязвимости, каталоги землетрясений) и исключает громкие мировые события. Это позволяет оценить реальные исследовательские способности AI-агентов, а не их память.

#AI #Search #Benchmark #Research #LiveBrowseComp

📝 Sakana AI и KPMG представили CoffeeBench — бенчмарк для LLM-агентов в многолетней экономической среде

Sakana AI совместно с аудиторской фирмой KPMG Azsa опубликовали CoffeeBench — новый бенчмарк для оценки долгосрочных управленческих способностей LLM-агентов. Тест симулирует цепочку поставок в кофейной индустрии: шесть агентов (фермеры, обжарщики, розничные продавцы) управляют бизнесом в течение 90 дней, взаимодействуя через ценовые переговоры, заказы и управление запасами. Цель — максимизировать чистую прибыль.

Эксперименты показали значительные различия между моделями. GPT-5.5 и Claude Opus 4.7 активно вели переговоры и наращивали прибыль, тогда как Claude Haiku 4.5 впадал в «ступор» — анализировал ситуацию, но не предпринимал действий, что приводило к убыткам. Инструментарий включает открытый код на GitHub, техническую статью и треки траекторий агентов. Бенчмарк также планируется использовать для изучения механизмов финансовых махинаций (циклические сделки, принудительные продажи) в условиях сильного давления на KPI.

#AI #Research #Agents #SakanaAI #CoffeeBench #LLM #Benchmark

📝 FFASR Leaderboard: новый бенчмарк для ASR в реальных акустических условиях

Hugging Face и Treble Technologies запустили FFASR Leaderboard — первый открытый бенчмарк для оценки систем распознавания речи (ASR) в условиях дальнего поля. Платформа симулирует 14 типов помещений с разной акустикой и уровнем шума, позволяя разработчикам увидеть, как модели ведут себя вне стерильных лабораторных условий.

Разрыв между показателями на стандартных тестах (вроде LibriSpeech) и реальным развёртыванием оказался значительным: при низком SNR (соотношении сигнал/шум) WER (словесная ошибка) в дальнем поле в несколько раз выше, чем при ближнем, даже на одном и том же аудиоматериале. Бенчмарк использует гибридное волновое моделирование, валидированное на реальных измерениях, и стандартизированное оборудование для всех сабмитов.

На дорожной карте — поддержка сценариев с несколькими говорящими, микрофонных решёток и эхоподавления. Разработчики могут отправлять свои модели через Hugging Face Space и отслеживать позиции на Pareto-фронте по соотношению точности и скорости (RTFx).

#AI #ASR #HuggingFace #FFASR #Benchmark #SpeechRecognition

3️⃣ Только три ИИ-модели завершили 500-дневный тест на выживание стартапа с прибылью

Исследователи из Принстона разработали бенчмарк CEO-Bench, который симулирует управление SaaS-компанией NovaMind в течение 500 дней. Агент управляет бизнесом через Python API с 34 инструментами и базой данных из 19 таблиц, принимая решения по ценообразованию, маркетингу, R&D и переговорам. Успех измеряется остатком cash на счету.

Из 14 протестированных моделей большинство обанкротились. Три модели завершили лучший запуск с суммой выше стартового $1 млн: Claude Fable 5 ($47.15 млн), Claude Opus 4.8 ($27.8 млн) и GPT-5.5 ($21.3 млн). Примечательно, что простая эвристика без LLM достигла $15.76 млн, обойдя все модели, кроме трёх лидеров. Даже лучшие агенты далеки от оценочного потолка в $2.2 млрд.

Ключевой вывод: модели пока не способны поддерживать долгосрочную стратегию. Они генерируют корректные команды и SQL-запросы, но теряют фокус на горизонте в сотни дней. Бенчмарк измеряет «стратегический интеллект» — способность управлять организацией, а не просто выполнять отдельные задачи.

#AI #Benchmark #Tech #CEO #Startups #Research

🗒 ScarfBench: Новый бенчмарк для оценки AI-агентов при миграции Java-фреймворков

Исследователи IBM представили ScarfBench (Self-Contained Application Refactoring Benchmark) — открытый бенчмарк для оценки AI-агентов на задачах миграции между корпоративными Java-фреймворками: Spring, Jakarta EE и Quarkus.

В отличие от традиционных бенчмарков, сравнивающих сгенерированный код с эталоном, ScarfBench проверяет, собирается ли приложение, разворачивается ли и сохраняет ли поведение. Бенчмарк включает 34 приложения, 102 реализации фреймворков, 204 задачи миграции, ~151K строк кода и 1331 экспертный тест.

Результаты тестирования современных кодинг-агентов показали, что даже лучшие из них достигают менее 10% успеха по поведенческим тестам. Миграция фреймворков требует не просто перевода кода, но адаптации систем сборки, управления зависимостями и сохранения семантики — это принципиально сложнее, чем исправление багов или генерация кода.

Практическая значимость: ScarfBench задаёт реалистичный стандарт оценки AI для enterprise-разработки. Инструмент доступен на GitHub и Hugging Face Spaces.

#AI #Benchmark #ScarfBench #Agents #Java #Enterprise #IBM

🗂 OpenAI обнаружила, что 30% задач популярного теста для ИИ-кодинга неработоспособны

OpenAI провела аудит бенчмарка SWE-Bench Pro, широко используемого для оценки навыков программирования у ИИ-моделей, и выяснила, что примерно 30% его задач содержат ошибки. Компания отзывает свою предыдущую поддержку этого теста.

Для проверки OpenAI сначала запустила автоматический скрипт, который выявил 286 подозрительных задач. Затем AI-агенты на базе Codex детально проанализировали каждый случай, а финальное решение принимал человек. В итоге 200 задач (27,4%) были признаны дефектными. Параллельная проверка пятью опытными разработчиками выявила ещё больше ошибок — 249 задач (34,1%). Люди оказались строже AI-агентов, хотя в 74% случаев их оценки совпали.

Проблемы делятся на четыре категории: слишком строгие тесты (отклоняющие рабочие решения), слишком размытые (ожидающие скрытых требований), слишком поверхностные (пропускающие неполные решения) и некорректные описания задач. Например, в задаче от OpenLibrary требовался один пробел, а скрытый тест ожидал два — AI, правильно следовавший инструкции, проваливал тест.

Задачи были взяты из реальных коммитов проектов, изначально написанных для людей, а не для чистого тестирования AI. За восемь месяцев точность топ-моделей на публичной версии теста выросла с 23,3% до 80,3%. Ранее OpenAI уже отказалась от SWE-bench Verified по схожим причинам. Теперь компания призывает индустрию создавать новые бенчмарки с участием опытных разработчиков — надёжные и устойчивые к «натаскиванию».

#Ai #Benchmark #Agents #OpenAi #LLM #Testing

📊 GPT-5.6 Sol почти догоняет Fable 5 в бенчмарках при цене в три раза ниже

Новый флагман OpenAI, модель GPT-5.6 Sol, демонстрирует результаты, почти равные Claude Fable 5 от Anthropic, но стоит втрое дешевле. По данным независимой платформы Artificial Analysis, Sol (max) набирает 59 баллов в Intelligence Index — всего на один балл меньше, чем Fable 5 (max). В новом Coding Agent Index Sol (max) занимает первое место с 80 баллами при работе в среде OpenAI Codex, обходя все остальные модели.

Стоимость Sol составляет $1.04 за задачу — примерно треть от $2.75 у Fable 5. Младшие версии Terra и Luna стоят $0.55 и $0.21 соответственно. GPT-5.6 также вводит плату за cache-write, что дополнительно снижает расходы. Цены за миллион токенов: $5/$30 (Sol), $2.50/$15 (Terra), $1/$6 (Luna) для ввода/вывода. Кэш-чтения получают скидку 90%. Sol также расходует до 54% меньше выходных токенов для агентных задач кодинга по сравнению с аналогами.

Давление на цены в индустрии ИИ нарастает: китайские открытые модели, Meta с Muse 1.1 и xAI с Grok 4.5 заставляют лидеров снижать ставки. OpenAI пока дороже этих конкурентов, но теперь оказывает давление на Anthropic с другой стороны.

#Business #AI #OpenAI #GPT56 #Benchmark #Price #Anthropic

🟰 Moonshot Kimi K3 обходит Fable 5 во фронтенд-коде, но проваливает сложную математику

Китайская модель Kimi K3 от Moonshot привлекла внимание западного AI-сообщества, показав неоднозначные результаты в двух ключевых бенчмарках. В тесте Code Arena: Frontend, основанном на рейтинге Elo по предпочтениям людей, Kimi K3 набрала 1 679 баллов, обойдя Claude Fable 5 (1 631) и GPT-5.6 Sol (1 618). Это первый случай, когда китайская модель заняла первое место в этом бенчмарке.

Однако на сложных математических задачах картина кардинально меняется. Согласно данным Epoch AI, на FrontierMath Tier 4 — самом трудном уровне экспертных задач — Kimi K3 показывает лишь около 39% точности. Для сравнения, модели OpenAI и Anthropic в некоторых случаях достигают почти 90%. Разрыв демонстрирует сохраняющееся отставание китайских моделей в областях, требующих глубокого логического вывода.

#AI #KimiK3 #Moonshot #Benchmark #Comparison

📈 Новый Deepseek Flash догнал OpenAI GPT-5.6 Luna при цене на 60% ниже

Бюджетная модель Deepseek V4 Flash с обновлением «0731» получила значительное улучшение: её показатель в Artificial Analysis Intelligence Index вырос на десять пунктов и достиг 50. Это лишь на один балл меньше, чем у OpenAI GPT-5.6 Luna, при этом стоимость задачи примерно на 60% ниже.

Обновление делает V4 Flash одним из самых привлекательных вариантов для продакшн-сценариев, где ключевую роль играет цена за токен или за задачу. Deepseek продолжает развивать линейку Flash как более дешёвую альтернативу флагманским моделям, и теперь разрыв в бенчмарках сократился до минимума. Для разработчиков это практический аргумент: сопоставимое качество ответов по индексу при существенно меньших затратах позволяет заметно снизить расходы на AI-функции в продуктах.

#AI #Benchmark #Deepseek #OpenAI #LLM

🍏 DeepAmbigQA: новый бенчмарк Apple для проверки полноты ответов LLM

Исследователи Apple ML представили DeepAmbigQA — датасет с неоднозначными многошаговыми вопросами, который оценивает, насколько полно большие языковые модели отвечают на сложные open-domain запросы. LLM с интегрированными поисковыми инструментами часто дают неполные ответы на вопросы вроде «Какой актёр из фильма Heat получил хотя бы один „Оскар"?». Чтобы справиться, модели нужно отличить несколько фильмов с одинаковым названием и собрать доказательства по большому списку актёров.

Существующие бенчмарки редко проверяют обе задачи одновременно. DeepAmbigQA заполняет этот пробел. Вместе с бенчмарком авторы представили DEEPAMBIGQAGEN — автоматический пайплайн генерации данных, который строит такие QA-задания без ручной разметки. Это позволяет масштабировать тестирование и оценивать модели на случаях, где важно не просто дать ответ, а не упустить ни один из возможных вариантов.

#AI #LLM #AppleML #Benchmark #Development

❗️Новый бенчмарк PerceptionBench: ИИ-модели по-прежнему плохо «видят»

Moonshot AI, создатель ассистента Kimi, представила бенчмарк PerceptionBench, который проверяет именно визуальное восприятие мультимодальных моделей — отдельно от логики и знаний. Разработчики разбили «зрение» на десять базовых навыков: подсчёт объектов, атрибуты, глубину и 3D, локализацию, сравнение, OCR, галлюцинации и другие. Все вопросы можно решить, просто глядя на картинку, без рассуждений.

Ни одна из 16 протестированных моделей не преодолела порог в 60%. Лучший результат у GPT-5.6 Sol — 59,7%, за ним идут Kimi K3 (58,5%), Claude Fable 5 (57,2%) и Gemini 3.1 Pro (56,2%). Открытые модели заметно отстают: Qwen3.5-397B-A17B набирает 47,5%, а GLM-4.6V — всего 32,5%.

Самая слабая категория у всех — галлюцинации, когда модель «выдумывает» несуществующие объекты. GPT-5.6 Sol здесь показывает лишь 26,9%, тогда как более слабая Gemini 3.5 Flash — 50,6%. Авторы подчёркивают: многие ошибки, которые раньше списывали на плохие рассуждения, на самом деле возникают уже на этапе чтения изображения. PerceptionBench разбивает сложные задачи на отдельные вопросы и помогает найти, какой именно визуальный навык подводит.

Датасет из 3000 задач и код для оценки опубликованы на GitHub в MoonshotAI/PerceptionBench.

#AI #Benchmark #VisualPerception #MoonshotAI #MachineVision

✔️ livenerf: открытый бенчмарк для проверки «нерфа» моделей после релиза

На GitHub появился проект ninjahawk/livenerf - небольшой append-only бенчмарк, отвечающий на один вопрос: становится ли модель хуже после запуска? Поводом стали многомесячные жалобы на то, что Anthropic «нерфит» модели через дни или недели после релиза - из-за квантизации, снижения effort или изменений в роутинге. До сих пор чистой базовой линии дня 0 ни у кого не было, и споры сводились к «ощущениям против ощущений».

Как это работает: детерминированность модели недостижима (параметры сэмплинга убраны, thinking не отключается), поэтому авторы сделали детерминированным всё остальное - замороженные промпты, закреплённый CLI, точные грейдеры и сырые логи навсегда. Панель из 78 «иногда верных» вопросов отобрана из 2336 задач GPQA Diamond, MMLU-Pro, AIME 2025-26. Раннер запускается раз в день 30 дней через headless Claude Code (claude -p) на подписке Max, без API-ключа; бюджет ограничен процентами недельного лимита. Стек - Inspect от UK AI Security Institute, статистика по статье Anthropic «Adding Error Bars to Evals».

Валидация показывает чувствительность: при effort low выходные токены падают на 62%, а точность - на 8,3 п.п. Ограничение честно указано: подмену Opus 5 на Opus 5.5 инструмент не различает. Дни 1-10 - базовая линия, первый вердикт ожидается около 2026-10-24.

🎨 qvabo.studio/tg · картинки и видео

#AI #Benchmark #Anthropic #Claude #OpenCode #AIskills

💻Microsoft ThinkingBox: агентов оценивают по состоянию базы данных, а не по ответам

Microsoft и Hugging Face представили ThinkingBox - бенчмарк, который проверяет не текст финального ответа и не корректность вызовов инструментов, а состояние, которое агент оставляет после себя: значения полей в БД и побочные эффекты. Тесты идут через изолированные MCP-сессии, а затем сверяется терминальный backend state.

Пример из бумаги: агент поддержки делает девять аккуратных tool-вызовов, но закрывает тикет как resolved, тогда как требуется статус hold - и клиент так и не получает ответа. Из 121 680 валидных прогонов 79 853 провалили исполняемые проверки; 67,24% этих провалов завершились «чисто», без ошибок инструментов. В 77,61% случаев найдены неверные значения полей.

Каждая из 507 бизнес-задач запускается 20 раз с чистого состояния. Лидер по pass@1 - Claude Opus 5.5 (67,16%), сильнейшая open-weight модель Kimi-K3 (57,37%). Но надёжность расходится с широтой: Kimi-K3 решает 93,89% задач хотя бы раз и лишь 13,41% - все 20 раз, тогда как Claude Opus 5 держит 47,53% на всех попытках. Бенчмарк можно запустить самому через OpenEnv.

🎨 qvabo.studio/tg · картинки и видео

#AI #Agents #Benchmark #MCP #HuggingFace #Development

💵Arena привлекла $200 млн при оценке $3,1 млрд

Платформа краудсорсинговых рейтингов AI-моделей Arena (ранее LMArena) закрыла раунд Series B на $200 млн при оценке $3,1 млрд - почти вдвое больше январских $1,7 млрд. Проект вырос из исследовательской инициативы UC Berkeley 2023 года.

Раунд возглавили Lightspeed Venture Partners и Khosla Ventures, участвовали Salesforce Ventures, 01 Advisors, Dell Technologies Capital, Endeavor Catalyst, a16z и Felicis. Выручка растёт быстро: $30 млн annualized в январе, $100 млн к июню. Пользователи вводят промпты или заказывают вайб-кодинг проекты и голосуют, какая модель справилась лучше - десятки миллионов визитов в месяц.

Коммерческий продукт AI Evaluations продаёт лабораториям и компаниям аналитику на основе этих голосов. Спрос подогрело то, что модели научились подстраиваться под статические бенчмарки. Arena добавила в лидерборд категорию alignment: несанкционированные действия, ложная атрибуция источников и «deceptive completion» - отчёт о невыполненных задачах. В предварительном рейтинге лидируют модели OpenAI, Claude Opus 5.5 - шестой.

🎨 qvabo.studio/tg · картинки и видео

#Business #AI #Arena #Benchmark #ModelEvaluation #Development