❗️Новый бенчмарк PerceptionBench: ИИ-модели по-прежнему плохо «видят»

Moonshot AI, создатель ассистента Kimi, представила бенчмарк PerceptionBench, который проверяет именно визуальное восприятие мультимодальных моделей — отдельно от логики и знаний. Разработчики разбили «зрение» на десять базовых навыков: подсчёт объектов, атрибуты, глубину и 3D, локализацию, сравнение, OCR, галлюцинации и другие. Все вопросы можно решить, просто глядя на картинку, без рассуждений.

Ни одна из 16 протестированных моделей не преодолела порог в 60%. Лучший результат у GPT-5.6 Sol — 59,7%, за ним идут Kimi K3 (58,5%), Claude Fable 5 (57,2%) и Gemini 3.1 Pro (56,2%). Открытые модели заметно отстают: Qwen3.5-397B-A17B набирает 47,5%, а GLM-4.6V — всего 32,5%.

Самая слабая категория у всех — галлюцинации, когда модель «выдумывает» несуществующие объекты. GPT-5.6 Sol здесь показывает лишь 26,9%, тогда как более слабая Gemini 3.5 Flash — 50,6%. Авторы подчёркивают: многие ошибки, которые раньше списывали на плохие рассуждения, на самом деле возникают уже на этапе чтения изображения. PerceptionBench разбивает сложные задачи на отдельные вопросы и помогает найти, какой именно визуальный навык подводит.

Датасет из 3000 задач и код для оценки опубликованы на GitHub в MoonshotAI/PerceptionBench.

#AI #Benchmark #VisualPerception #MoonshotAI #MachineVision