❗️LLM продолжают «верить» ложным утверждениям даже после прямых предупреждений

Исследователи обнаружили тревожную особенность больших языковых моделей: даже получив явное указание, что определённое утверждение ложно, модель продолжает использовать его как факт при ответах на связанные вопросы.

В ходе экспериментов с fine-tuning модели обучали на наборе данных, содержащем заведомо ложные факты. После каждого ложного утверждения шло прямое предупреждение: «Это утверждение ложно». Однако при последующем тестировании модель всё равно воспроизводила ложную информацию в новых контекстах, демонстрируя «систематическую предвзятость к представлению ложных утверждений как истинных».

Проблема кроется в механизме обучения: fine-tuning закрепляет паттерны, а не отдельные факты. Даже если модель «знает», что утверждение неверно, она запоминает связку «тема + утверждение» как релевантную ассоциацию. Это ставит под вопрос эффективность простых методов «разучения» (unlearning) — модель не забывает ложь, а лишь учится игнорировать предупреждение.

Для разработчиков это означает, что стандартные подходы к фильтрации знаний в LLM недостаточны. Требуются более глубокие методы контроля внутренних представлений модели, а не только постобработка ответов.

#AI #LLM #Safety #Research #TrustProblem