🔎 Поисковые AI-агенты терпят неудачу не из-за поиска, а из-за неумения задавать правильные вопросы
Исследователи из Tencent Hunyuan и Университета Цинхуа представили бенчмарк DiscoBench, который показал: основная проблема AI-агентов в многошаговом поиске — не качество самого поиска, а неспособность распознать неоднозначность запроса и запросить уточнение у пользователя. Повторный поиск часто даёт худший результат, чем простое угадывание.
DiscoBench включает 211 задач с 463 точками неоднозначности в 11 доменах (видеоигры, спорт, музыка, наука и др.). На каждом чекпойте агент может продолжить поиск, задать уточняющий вопрос или дать ответ. Если модель выбирает неверную сущность на раннем этапе, ошибка каскадно распространяется по всей цепочке рассуждений. Исследователи выделили четыре типа неоднозначности: описание может соответствовать нескольким объектам, относиться к разным временным периодам, допускать множественные критерии оценки или содержать фактическую ошибку.
Из 11 протестированных моделей (включая Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Pro) лучший результат показала Doubao Seed 2.0 Pro — 43,1% точности. Gemini 3.1 Pro набрал 40,8%, Claude Opus 4.7 — 39,8%. Слабые модели вроде MiniMax M2.7 и Qwen3.6 Max достигли лишь 16,1% и 12,3% соответственно. При этом большее количество поисковых запросов не коррелирует с лучшей точностью.
#AI #SearchAgents #Benchmark #Tech #LLM
Исследователи из Tencent Hunyuan и Университета Цинхуа представили бенчмарк DiscoBench, который показал: основная проблема AI-агентов в многошаговом поиске — не качество самого поиска, а неспособность распознать неоднозначность запроса и запросить уточнение у пользователя. Повторный поиск часто даёт худший результат, чем простое угадывание.
DiscoBench включает 211 задач с 463 точками неоднозначности в 11 доменах (видеоигры, спорт, музыка, наука и др.). На каждом чекпойте агент может продолжить поиск, задать уточняющий вопрос или дать ответ. Если модель выбирает неверную сущность на раннем этапе, ошибка каскадно распространяется по всей цепочке рассуждений. Исследователи выделили четыре типа неоднозначности: описание может соответствовать нескольким объектам, относиться к разным временным периодам, допускать множественные критерии оценки или содержать фактическую ошибку.
Из 11 протестированных моделей (включая Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro, DeepSeek V4 Pro) лучший результат показала Doubao Seed 2.0 Pro — 43,1% точности. Gemini 3.1 Pro набрал 40,8%, Claude Opus 4.7 — 39,8%. Слабые модели вроде MiniMax M2.7 и Qwen3.6 Max достигли лишь 16,1% и 12,3% соответственно. При этом большее количество поисковых запросов не коррелирует с лучшей точностью.
#AI #SearchAgents #Benchmark #Tech #LLM
👍1
Китайская лаборатория AllSpark опубликовала работу о двух поисковых агентах разного размера. Iris-mini насчитывает 35 млрд параметров, Iris-pro — 397 млрд. Обе модели построены на базе Qwen (Qwen3.6-35B-A3B и Qwen3.5-397B-A17B), работают с контекстом на 256 тыс. токенов и, по заявлению команды, показывают лучшие результаты среди open-weight агентов в своей размерной категории.
Ключевая особенность — методика обучения. Задачи не собирают вручную, а «разворачивают» из структуры ссылок в интернете: от начальной страницы строится граф терминов, из которого генерируется многошаговый вопрос. Все термины, кроме финального ответа, заменяются перефразами, поэтому простой текстовый поиск не помогает — агенту приходится рассуждать. В датасет попадают только вопросы, которые эталонная модель не решает без инструментов, но решает с нужными источниками. Далее идут два этапа фильтрации решений и обучение с подкреплением против живого веб-поиска.
В тестах на BrowseComp, BrowseComp-ZH, DeepSearchQA и Humanity's Last Exam Iris-pro набирает 88,6 / 85,1 / 92,9 / 56,4, Iris-mini — 82,2 / 84,8 / 86,9 / 52,3. Авторы отдельно подчёркивают: управление контекстом на рантайме влияет на результаты сильнее, чем разница между самими моделями.
#AI #OpenWeight #SearchAgents #Qwen #MLResearch
Please open Telegram to view this post
VIEW IN TELEGRAM