1️⃣Один нейрон способен обойти защиту безопасности в больших языковых моделях

Исследователи Apple ML обнаружили, что безопасность больших языковых моделей (LLM) можно нарушить, воздействуя всего на один нейрон. Система защиты работает через два механизма: «нейроны отказа», блокирующие вывод опасных знаний, и «нейроны концепций», хранящие сами эти знания. Воздействуя на один нейрон в каждой системе, авторы смогли как подавить защиту на прямые вредоносные запросы, так и спровоцировать генерацию опасного контента из безобидных промптов.

Эксперименты проводились на семи моделях из двух семейств — от 1,7 млрд до 70 млрд параметров — без какого-либо дообучения или инженерных уловок с промптами. Результаты показывают, что текущие методы выравнивания (alignment) уязвимы на фундаментальном уровне: один нейрон может стать точкой отказа всей системы безопасности. Это ставит под вопрос надёжность современных подходов к защите LLM и указывает на необходимость принципиально новых архитектурных решений.

#SAFETY #LLM #Security #AppleResearch #MachineLearning