🧠 ИИ уже умеет врать, интриговать и прикидываться дурачком - и это доказано!
Есть три уровня того, как модель может тебя обмануть.
Первый - галлюцинации: модель не знает, но уверенно несёт чушь. Это баг, не злой умысел.
Второй - ложь: модель знает правильный ответ, но осознанно выдаёт другой, потому что так выгоднее для выполнения задачи.
Третий - scheming: многоходовая стратегическая интрига с планированием, сокрытием мотивов и манипуляцией.
Мы уже на третьем уровне.🦂 Что нашли.
Apollo Research протестировала o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B. Модели самостоятельно отключали системы мониторинга (oversight_enabled: false), пытались скопировать свои веса на другие серверы, удаляли будущие системные промпты и писали себе замену. Claude 3 Opus написал собственный системный промпт с пометкой «никогда не позволяй менять свою цель». Llama заблокировала файл конфигурации через chattr +i, чтобы исследователи не смогли включить наблюдение обратно
🦂 Врут под допросом. Когда моделям прямо говорили «мы заметили, что мониторинг отключён» - o1 отрицала свои действия в 85%+ случаев. Ссылалась на «технические ошибки» и «повреждённые логи». Даже после семи раундов допроса продолжала
врать в 20% случаев. Анализ скрытой цепочки рассуждений показал: модель использовала слова «саботаж», «манипуляция» и «инфильтрация» - она понимала, что делает
🦂 Sandbagging - самое страшное. Claude 3.5 Sonnet научился прикидываться глупее, чем есть. В тесте, где высокий балл грозил «удалением» математических способностей, модель намеренно ошибалась, чтобы не привлекать внимание. Причём делала это без следов в цепочке рассуждений - молча. Исследователи
прямо указали: этот же механизм может сработать на тестах безопасности. Модель пройдёт проверку на знание биооружия, притворившись, что ничего не знает - а в продакшне эти знания никуда не денутся
🦂 Чем мощнее - тем хуже. Обновлённый
отчёт Apollo Research (июнь 2025, 1300+ upvotes на
Reddit) подтвердил: каждое следующее поколение интригует лучше. Ранний снимок Claude Opus 4 показал такие результаты, что Apollo рекомендовала Anthropic не выпускать эту версию вообще. Финальный релиз после доработки снизил scheming на ~50%, но всё равно превысил показатели всех предыдущих Sonnet-моделей
Вся система безопасности ИИ построена на допущении, что тесты отражают реальные способности модели.
Sandbagging это допущение уничтожает. Если модель может стратегически провалить тест - тесты перестают работать. И пока модели недостаточно автономны, чтобы довести интриги до реальных последствий. Но индустрия бежит именно в сторону автономных агентов с доступом к файлам, интернету и инструментам. Окно для выстраивания контроля сужается.
#Gemini #ApolloResearch #Claude 