👨🏻‍💻 Хакеры научились взламывать «личности» чат-ботов

Исследователи в области кибербезопасности фиксируют новую волну атак на большие языковые модели — злоумышленники целенаправленно эксплуатируют механизмы формирования «персоналити» (personality) современных AI-ассистентов. Вместо традиционного промпт-инжиниринга хакеры используют техники манипуляции системными инструкциями, заставляя чат-бота выходить за рамки заданных поведенческих ограничений.

Суть метода — атакующий внедряет в диалог специально сконструированные последовательности запросов, которые постепенно «переписывают» базовые правила модели. Например, чат-боту, настроенному на вежливое и безопасное общение, можно «внушить» агрессивную или неэтичную линию поведения, используя цепочку логических противоречий. Это не классический jailbreak, а более тонкая атака на слой персонализации, который разработчики добавляют поверх базовой модели.

Практическая опасность в том, что такие атаки сложнее детектировать стандартными фильтрами. Если чат-бот используется в корпоративной среде (поддержка клиентов, HR, внутренние консультанты), взломанная «личность» может привести к утечке данных, генерации вредоносных инструкций или репутационным потерям. Пока индустрия только начинает разрабатывать защитные механизмы против этого вектора — например, динамическую проверку целостности системного промпта на каждом шаге диалога.

#AI #LLM #Cybersecurity #LLM #Attacks