🧑‍🔬Исследователи Apple выяснили, что LLM не являются последовательно байесовскими

Новая работа Apple ML Research посвящена ключевой проблеме современных языковых моделей: насколько рационально они обновляют свои вероятностные убеждения при поступлении новых данных. В медицине, науке и праве не всегда существует единственно верный ответ — система должна уметь взвешивать неопределённость и корректировать выводы по мере получения свидетельств.

Авторы предлагают рассматривать LLM как правила обработки информации и вводят метрику information processing gap — величину отклонения от идеального байесовского обновления. Эксперименты показали: модели демонстрируют внутренние несоответствия — их «убеждения» зависят от формулировки вопроса, порядка подачи фактов и других факторов, не связанных с логикой вывода. Иными словами, вероятностные суждения LLM нестабильны и не всегда согласуются даже с их собственными предсказаниями.

Практический вывод для разработчиков: полагаться на «уверенность» модели в ответе как на надёжный сигнал достоверности пока рискованно. Метрика из исследования может стать инструментом для оценки и калибровки моделей перед развёртыванием в чувствительных областях, где цена ошибки высока.

#AI #Apple #LLM #Research #BayesianInference