⚙️ Fireworks AI запустила Specialized Intelligence Index - индекс моделей по реальным задачам

Fireworks AI представила Specialized Intelligence Index (SII) - площадку для сравнения открытых, закрытых и специализированных моделей на отраслевых бенчмарках. Стартовые домены: медицина, право, кибербезопасность, финансы, поддержка клиентов, продуктивность и разработка ПО.

Ключевая идея - публичные бенчмарки плохо предсказывают реальную работу: у них ограниченные задачи, фиксированные датасеты и стандартное скоринг. В подтверждение приводится исследование METR: 4 мейнтейнера проверили 296 сгенерированных ИИ pull request из 3 репозиториев SWE-bench Verified - оценка мейнтейнеров оказалась в среднем на 24,2 п.п. ниже автоматического бенчмарка.

В SII вошли, в частности, Harvey's Legal Agent Benchmark (24 области практики), Sierra τ-Banking с базой из 698 документов, Proximal FrontierSWE V2 (задачи уровня эксперта, до 20 часов на попытку), Datacurve DeepSWE v1.1 (113 задач, 91 репозиторий), MacroscopeBench по code review и depthfirst dfbench v1 по защитной безопасности. Для последнего модель dfs-large1, дообученная RL на базе GLM 5.2 через Fireworks, вышла на новую границу Парето.

Методология: без искусственного усреднения - никакого кросс-доменного композита, только результаты по бенчмаркам с матрицами покрытия и графиками «качество против стоимости» и «качество против времени». Каждый бенчмарк помечен уровнем воспроизводимости.

#Tech #FireworksAI #Benchmarks #LLM #OpenSourceAI #Development