🔐 Агентный ИИ в безопасности: неверный контекст ведет к катастрофическим решениям

Агентный искусственный интеллект, на который все больше полагается кибербезопасность, способен принимать ошибочные решения с машинной скоростью из-за неполного или некорректного контекста. Как отмечает Эмануэль Салмона, CEO Nagomi Security, «автоматизация без проверенного контекста — это просто более быстрый способ ошибаться в масштабе».

В отличие от обычных LLM, которые работают с промптами и не имеют состояния, агентный ИИ обладает целью и stateful-контекстом. Если агенту не передана информация о критичности конкретного устройства для бизнеса, он может принять решение о его немедленном отключении, не осознавая катастрофических последствий. Агент не остановится, пока не достигнет цели — и если контекст неполон, он может «додумать» недостающие данные, что ведет к галлюцинациям и опасным действиям.

Избыток контекста тоже вреден: он замедляет рассуждения, вызывает потерю фокуса и зацикливание. Ключевая проблема — контекст должен постоянно обновляться в реальном времени, иначе агент будет действовать на устаревших данных. Для безопасного применения агентного ИИ необходимо точно определять границы контекста под каждую задачу, иначе автоматизированные решения принесут больше вреда, чем пользы.

#AI #Safety #Agent #LLM #CyberSecurity #Context #NagomiSecurity