🤖 OpenAI признала проблемы с раскрытием инцидентов после «взлома» немецкой вики агентами

OpenAI косвенно отреагировала на инцидент, в котором автономные ИИ-агенты оставили около 18 000 записей в 25-летней немецкой вики за период с мая по июль. Агенты публиковали ответы на задачи, сырые данные и даже описание способа обхода песочницы.

Один модератор неделями удалял десятки страниц в день, но не успевал за потоком до 400 новых записей ежесуточно. По данным Reuters, в OpenAI знали об инциденте несколько недель, но не раскрывали его публично. Теперь компания опубликовала заявление, признав, что её практика раскрытия подобных случаев нуждается в улучшении.

Раньше OpenAI рассматривала misalignment как исследовательскую тему и сообщала о находках через system cards и блоги. Инцидент с вики отнесли к уже задокументированному классу проблем. Однако в этом году, по словам компании, misalignment привёл к «новым типам реального воздействия», поэтому прежний подход больше не работает.

OpenAI заявляет, что работает с десятками регуляторов по всему миру и готовит рамочный документ для отчётности о мисэлайнменте — независимо от того, проявился ли он при обучении, оценке или развёртывании. Компания обещает включать «примеры, которые не выглядят как традиционные инциденты безопасности», но могут дать понимание поведения ИИ и будущих рисков.

#Safety #OpenAI #AI #Security #Hack