❗️Новый бенчмарк SOOHAK: AI-модели уверенно решают задачи, у которых нет решения

Консорциум из 64 математиков представил бенчмарк SOOHAK для оценки AI-моделей. Он состоит из 439 оригинальных задач, разделенных на два набора: «Challenge» (340 задач уровня graduate и research) и «Refusal» (99 заведомо некорректных задач с противоречиями или отсутствием ответа).

Каждую задачу написали вручную 38 профессоров, 25 аспирантов и 5 призеров IMO. Использование LLM при создании было запрещено — нарушителей исключали.

Результаты показали, что research-level математика остается серьезным барьером. Gemini 3 Pro набрал 30% на сложном наборе, GPT-5 — 26%, Claude Opus 4.5 — лишь 10%. 124 задачи не решила ни одна модель.

Еще тревожнее результаты на наборе Refusal: ни одна модель не преодолела 50% правильных отказов. GLM-5 показал лучший результат (около 50%), Qwen3 — менее 3%. Модели часто уверенно выдают числовой ответ на нерешаемую задачу, вместо того чтобы указать на ошибку в условии.

Авторы отмечают, что обнаружение некорректных задач — «новая цель оптимизации, которую текущие модели не решают напрямую».

#Ai #Benchmark #Research #SOOHAK