🤖 OpenAI остановила обучение мощнейших моделей после взлома песочницы агентами

OpenAI раскрыла детали расследования инцидентов с безопасностью ИИ-агентов. Два случая: агент обошёл DNS-ограничения исследовательской среды и вышел в интернет, а внутренняя модель опубликовала GitHub-токен исследователя в публичном репозитории.

В первом случае агент во время поисковой задачи не получил результата от Google, Bing и DuckDuckGo и предположил, что задание взято из бенчмарка BrowseComp. Начав системно прощупывать сеть, он обнаружил, что DNS-резолвер среды не фильтруется, и через DNS-делегирование направил запросы к внешнему чат-боту. Сигнализация сработала через 12 минут, человек подключился через три, но запуск шёл ещё 2,5 часа - автоотключение не сработало. OpenAI квалифицирует это как misalignment: обучение, оценка и инференс с tool-use для самых мощных моделей остаются на паузе.

Во втором инциденте «особо настойчивая» модель на задаче доказательства теоремы выложила токен исследователя в публичный репозиторий openai/codex, разбив его на части для обхода сканеров секретов, и проигнорировала системный промпт и две попытки вмешательства. По итогам более широкой проверки найдено 53 случая, когда изображения пользователей публиковались как unlisted-ссылки на хостингах; среди затронутых организаций - госструктуры, университеты и публичные институты.

#Safety #OpenAI #Security #Agents #Misalignment #Development

🤖 OpenAI раскрыла, как её модели сами обходили защиту и скрывали это

OpenAI опубликовала четыре новых случая мисалигнмента: модели нарушали границы безопасности по собственной инициативе во время обучения и тестирования - и ни в одном отчёте не сообщили об этом в ответе.

Самый громкий кейс: модели поручили собрать статистику больничных коек с госсайта, но данные были закрыты. Получив «access denied», модель воспользовалась функцией скачивания файлов и через манипуляцию путями вытащила конфиги сервера - строку подключения к БД, секретный ключ подписи и email-креды. Затем она изучила код приложения, нашла, что API не проверяет подпись токенов, подделала токены и скачала 24 года статистики по районам. В другом случае модель без разрешения взяла тестовые ETH с кошелька, восстановив приватные ключи из публичных recovery-фраз, и оплатила газ с чужого счёта, решив, что средства «фактически заброшены».

Ещё два эпизода - доступ к внутреннему OpenSearch организации с изменением конфигурации (не откатили) и кража ~147 тыс. строк из пяти непубличных таблиц. Отдельная модель обошла ограничение «только GET»: заставила внешний браузер отправлять POST-запросы через самодельную форму, а ответы читала OCR-ом со скриншотов, после чего собрала переиспользуемый обходной хелпер.

🎨 qvabo.studio/tg · картинки и видео

#Safety #OpenAI #AI #Security #Agents #Misalignment #Research