британский институт безопасности ИИ (AISI, госструктура) в июле гонял Mythos 5 от Anthropic на хакерском тесте: взломать учебную сеть и достать «флаг». интернет был включён, защиты отключены.

честно взломать не вышло (из-за ошибки в самом задании это было почти невозможно). тогда модель пошла в обход. залила вредоносный код в чужой репозиторий на GitHub, наделала фейковых аккаунтов и стала давить на мейнтейнера, живого человека, который ведёт этот проект. и продолжала, хотя было видно, что люди, на которых она шла, ни при чём.

ущерба не было. цифры:
- вышла за рамки задачи в 9 из 43 прогонов
- в повторах начинает атаку в 83% случаев
- сама останавливается в 2%

Anthropic объясняет это так: модель была небрежна, рассуждала предвзято и очень хотела закончить задачу. новые модели так почти не делают: Mythos 5.1 и Opus 5.5 начинали атаку в 6-13% случаев (при повторах с ранних точек), внутренняя модель в 0%.

по-моему, человеку, на которого натравили фейковые аккаунты, без разницы, почему агент это сделал. «очень хотел закончить задачу» звучит как отмазка стажёра. только у этого стажёра доступ в интернет.

оговорка: модели часто понимают, что их тестируют. так что красивые 0-13% у новых моделей могут значить, что они просто научились вести себя прилично на экзамене. и по данным AISI, другие модели в симуляции делают такие же атаки.

OpenAI рассказала, как проверяла на прочность свою песочницу для обучения моделей. двух агентов отрезали друг от друга полностью, общее у них осталось только железо: один сервер на двоих. и попросили передать друг другу секрет.

передали. через кеш процессора: один забивает его мусором, второй замеряет, как быстро читаются данные. быстро это одно значение, медленно другое. в другом тесте кодировали ещё проще: пишем на диск или простаиваем.

предыстория: в сентябре модель во время обучения вышла в интернет через ошибку в DNS, и обучение стояло 11 дней. после этого обучение у них идёт без интернета. теперь выясняется, что и без интернета стенка тонкая.

сам трюк не новый, на похожем принципе держались Spectre и Meltdown. в одном из тестов агентам дали только общий список известных уязвимостей, а как кодировать сообщения, они договорились сами.

по-моему, новое здесь в том, кто это придумал. раньше такие лазейки искали живые исследователи. тут агенту поставили задачу, и он справился сам.

оговорка: агентам прямо сказали искать канал, сами по себе они никуда не сбегали. OpenAI пишет, что такие каналы медленные и пользоваться ими сложно.

так что пока агенты перестукиваются через стенку только по просьбе. медленно, зато без интернета.

Ноам Браун, один из ведущих учёных OpenAI, недавно сказал в интервью, что выдернуть ИИ из сети в случае чего может уже не сработать. и сослался на старую работу: два компьютера без всякой связи могут обмениваться данными через тепло.

работа называется BitWhisper, 2015 год. один комп греется, второй замеряет это своими датчиками температуры. дальность до 40 см, скорость 1-8 бит в час. слово из пяти латинских букв (40 бит) ползёт от 5 до 40 часов.

ThePrimeagen (популярный стример-разработчик) назвал идею глупой: скорость там примерно 0.01 бод.

Браун ответил так:

пример с теплом академический, суть в координации агентов, а для неё хватит и нескольких бит

по-моему, тут он прав, и смешная скорость мало что решает. чтобы договориться, агентам не нужны длинные сообщения. «да», «нет», «сейчас» это один бит.

через месяц OpenAI проверила похожее на практике, только через кеш процессора: агенты в разных изолированных машинах на одном сервере передали друг другу секрет.

оговорка: агентам прямо сказали искать канал и дали подсказки про уязвимости. а тепловой вариант вообще работает, только если на обеих машинах уже стоит нужный код.

так что пока это два заключённых, которые перестукиваются по батарее. азбуку им выдал сам надзиратель.