⚙️ Optima позволяет тестировать модели на своих данных — и решает главную проблему ИИ-бенчмарков

Artificial Analysis, известная независимыми оценками LLM, запустила платформу Optima для создания кастомных бенчмарков. Пользователи могут загружать собственные датасеты, трейсы AI-агентов из Arize, Braintrust или Langfuse либо просто описать сценарий использования — и прогнать через него ведущие модели, сравнив качество, стоимость задачи и время выполнения.

Для тех, у кого нет готовых данных, Optima сама предложит тестовые входы, критерии оценки и примеры задач. Доступны два режима: рубричная оценка по объективным критериям и попарное сравнение ответов, как в GDPval-AA и AA-Briefcase. Платформа взимает только фактические токен-затраты без наценки: рубричная оценка — $0,125 за критерий, попарная — $0,375 за сравнение.

Проблема, которую решает Optima, реальна: Epoch AI показала, что результаты бенчмарков сильно зависят от формулировок промптов и настроек температуры, а смена scaffolding в SWE-bench меняла результат до 15 процентных пунктов. Исследование 445 работ выявило методологические слабости почти во всех бенчмарках. Кастомные тесты не устраняют эти ограничения полностью, но позволяют оценить модели на релевантных для бизнеса задачах — например, ранние тестеры искали модель, которая в десять раз сокращает издержки финансовых агентов.

#AI #Benchmarks #Optima #ArtificialAnalysis #LLM