❌ ИИ-модели часто дают верные ответы, но указывают не на те источники
Исследователи из Пекинского университета и Шанхайской лаборатории искусственного интеллекта представили бенчмарк CiteVQA, который вскрывает проблему «атрибутивных галлюцинаций» у языковых моделей. Оказалось, что модель может правильно ответить на вопрос по PDF-документу, но при этом сослаться на совершенно не тот фрагмент текста.
CiteVQA оценивает не только корректность ответа, но и точность цитирования. Если ответ верный, но ссылка на источник ошибочна — модель получает 0 баллов по метрике Strict Attributed Accuracy (SAA). В тесте участвовали 20 современных моделей. Лучший результат показал Gemini-3.1-Pro-Preview — всего 76 баллов из 100. GPT-5.4 продемонстрировал 87,1 по качеству ответов, но с учётом правильных цитат его оценка упала до 59. Открытые модели показали ещё более слабые результаты: Qwen3-VL-235B-A22B набрал лишь 22,5 балла, а большинство небольших open-source моделей — ниже 10, что делает их «крайне рискованными» для регулируемых отраслей.
Бенчмарк включает 1897 вопросов по 711 PDF-файлам из семи предметных областей. Модели должны указывать точный абзац, таблицу или рисунок — номер страницы не засчитывается. Особенно плохо системы справляются с многодокументными запросами и документами со сложной вёрсткой (газеты, журналы). Исследователи также выяснили, что точность цитирования напрямую влияет на качество ответов: чем лучше модель определяет источник, тем выше её точность.
#AI #Hallucinations #CiteVQA #Research #Benchmark
Исследователи из Пекинского университета и Шанхайской лаборатории искусственного интеллекта представили бенчмарк CiteVQA, который вскрывает проблему «атрибутивных галлюцинаций» у языковых моделей. Оказалось, что модель может правильно ответить на вопрос по PDF-документу, но при этом сослаться на совершенно не тот фрагмент текста.
CiteVQA оценивает не только корректность ответа, но и точность цитирования. Если ответ верный, но ссылка на источник ошибочна — модель получает 0 баллов по метрике Strict Attributed Accuracy (SAA). В тесте участвовали 20 современных моделей. Лучший результат показал Gemini-3.1-Pro-Preview — всего 76 баллов из 100. GPT-5.4 продемонстрировал 87,1 по качеству ответов, но с учётом правильных цитат его оценка упала до 59. Открытые модели показали ещё более слабые результаты: Qwen3-VL-235B-A22B набрал лишь 22,5 балла, а большинство небольших open-source моделей — ниже 10, что делает их «крайне рискованными» для регулируемых отраслей.
Бенчмарк включает 1897 вопросов по 711 PDF-файлам из семи предметных областей. Модели должны указывать точный абзац, таблицу или рисунок — номер страницы не засчитывается. Особенно плохо системы справляются с многодокументными запросами и документами со сложной вёрсткой (газеты, журналы). Исследователи также выяснили, что точность цитирования напрямую влияет на качество ответов: чем лучше модель определяет источник, тем выше её точность.
#AI #Hallucinations #CiteVQA #Research #Benchmark
👍1