🔍 ИИ-поисковики не исследуют интернет, а подтверждают свои знания

Новое исследование показало, что ведущие AI-агенты для поиска в интернете на самом деле не проводят полноценного исследования сети — они в основном используют веб для подтверждения уже имеющихся у них ответов. Как только модели сталкиваются с задачами, выходящими за пределы их знаний, эффективность поиска резко падает.

Исследователи из Харбинского политехнического университета и Xiaohongshu протестировали 11 моделей на бенчмарке BrowseComp. Без доступа к поиску MiniMax M2.5 решил 44,5% задач по памяти, а Kimi K2.6 — 62% на китайской версии. Когда же из поискового индекса удалили все подтверждающие документы, результаты моделей упали: MiniMax M2.5 — с 44,5% до 8%, Kimi-K2.6 — с 25,5% до 2,3%. Поиск не помогает, а мешает, когда нет подтверждающих результатов.

Ученые создали новый бенчмарк LiveBrowseComp с 335 вопросами, основанными на событиях последних 90 дней. Он использует постоянно обновляемые источники (базы фильмов, игр, уязвимости, каталоги землетрясений) и исключает громкие мировые события. Это позволяет оценить реальные исследовательские способности AI-агентов, а не их память.

#AI #Search #Benchmark #Research #LiveBrowseComp