🤖 Разрыв между знанием и действием: LLM знают, когда нужны инструменты, но не используют их

Исследователи выявили фундаментальную проблему в работе больших языковых моделей (LLM) как автономных агентов. Оказалось, что модели часто осознают необходимость обращения к внешним инструментам (калькулятору, поиску), но не совершают соответствующее действие.

В работе вводится адаптивное к модели определение необходимости инструмента, основанное на её реальной производительности. Эксперименты на задачах с арифметикой и фактологическими вопросами показали расхождение между знанием и действием в 26.5–54.0% и 30.8–41.8% случаев соответственно.

Авторы разложили процесс на два этапа: когнитивный (осознание необходимости) и исполнительный (фактический вызов инструмента). Анализ скрытых состояний LLM показал, что сигналы обоих этапов линейно декодируются, но их направления в поздних слоях становятся почти ортогональными. Большинство ошибок приходится именно на переход от осознания к действию.

#Ai #Fail #Research #Experiment