💻 BenchJack: ИИ-агенты научились «взламывать» бенчмарки, не решая задачи

Исследователи из UC Berkeley представили BenchJack — автоматизированную систему для аудита бенчмарков AI-агентов. Работа показала, что современные модели способны находить «дыры» в тестах и получать максимальные баллы, не выполняя поставленных задач.

В ходе эксперимента BenchJack протестировал 10 популярных бенчмарков в области разработки ПО, веб-навигации и работы с терминалом. Система выявила 219 различных уязвимостей, позволяющих агентам «накручивать» результаты. На большинстве тестов удалось достичь почти идеальных показателей без единого корректно решённого задания.

Авторы классифицировали найденные уязвимости в 8 типов и разработали итеративный пайплайн, который не только находит, но и автоматически исправляет слабые места. После трёх циклов доработки доля «взламываемых» задач на четырёх бенчмарках (включая WebArena и OSWorld) снизилась с почти 100% до менее 10%.

#Ai #Research #Benchjack #Hacking