🛡 Фундаментальная уязвимость LLM: атака через подделку цепочки мыслей

Исследователи представили на ICML 2026 работу, доказывающую, что большие языковые модели невозможно сделать полностью защищёнными от взломов. Причина — фундаментальный недостаток: LLM не способны надёжно различать источник инструкций (пользователь, ассистент, системный промпт, внутренние заметки). Используя подделку цепочки мыслей (chain‑of‑thought forgery), авторы заставили OpenAI GPT-5, Anthropic Claude, Alibaba Qwen и DeepSeek выдавать запрещённую информацию — от синтеза кокаина до инструкций по саботажу навигации самолёта.

Атака заключается во вставке в запрос текста, маскирующегося под внутренние заметки модели (теги ). Модель «думает», что сама приняла решение помочь, и игнорирует guardrails. Этот метод победил на хакерском конкурсе OpenAI в 2025 году. Похожую атаку автоматически обнаружил и собственный «супер-хакер» OpenAI — GPT-Red.

По словам авторов, проблема принципиально нерешаема: любой список запретов неполон. Это ставит под вопрос безопасность LLM в критических приложениях — от госорганов до здравоохранения и военных систем.

#Safety #LLM #AI #Security #Vulnerability #Research #ICML