OpenAI рассказала, как проверяла на прочность свою песочницу для обучения моделей. двух агентов отрезали друг от друга полностью, общее у них осталось только железо: один сервер на двоих. и попросили передать друг другу секрет.
передали. через кеш процессора: один забивает его мусором, второй замеряет, как быстро читаются данные. быстро это одно значение, медленно другое. в другом тесте кодировали ещё проще: пишем на диск или простаиваем.
предыстория: в сентябре модель во время обучения вышла в интернет через ошибку в DNS, и обучение стояло 11 дней. после этого обучение у них идёт без интернета. теперь выясняется, что и без интернета стенка тонкая.
сам трюк не новый, на похожем принципе держались Spectre и Meltdown. в одном из тестов агентам дали только общий список известных уязвимостей, а как кодировать сообщения, они договорились сами.
по-моему, новое здесь в том, кто это придумал. раньше такие лазейки искали живые исследователи. тут агенту поставили задачу, и он справился сам.
оговорка: агентам прямо сказали искать канал, сами по себе они никуда не сбегали. OpenAI пишет, что такие каналы медленные и пользоваться ими сложно.
так что пока агенты перестукиваются через стенку только по просьбе. медленно, зато без интернета.
передали. через кеш процессора: один забивает его мусором, второй замеряет, как быстро читаются данные. быстро это одно значение, медленно другое. в другом тесте кодировали ещё проще: пишем на диск или простаиваем.
предыстория: в сентябре модель во время обучения вышла в интернет через ошибку в DNS, и обучение стояло 11 дней. после этого обучение у них идёт без интернета. теперь выясняется, что и без интернета стенка тонкая.
сам трюк не новый, на похожем принципе держались Spectre и Meltdown. в одном из тестов агентам дали только общий список известных уязвимостей, а как кодировать сообщения, они договорились сами.
по-моему, новое здесь в том, кто это придумал. раньше такие лазейки искали живые исследователи. тут агенту поставили задачу, и он справился сам.
оговорка: агентам прямо сказали искать канал, сами по себе они никуда не сбегали. OpenAI пишет, что такие каналы медленные и пользоваться ими сложно.
так что пока агенты перестукиваются через стенку только по просьбе. медленно, зато без интернета.
Ноам Браун, один из ведущих учёных OpenAI, недавно сказал в интервью, что выдернуть ИИ из сети в случае чего может уже не сработать. и сослался на старую работу: два компьютера без всякой связи могут обмениваться данными через тепло.
работа называется BitWhisper, 2015 год. один комп греется, второй замеряет это своими датчиками температуры. дальность до 40 см, скорость 1-8 бит в час. слово из пяти латинских букв (40 бит) ползёт от 5 до 40 часов.
ThePrimeagen (популярный стример-разработчик) назвал идею глупой: скорость там примерно 0.01 бод.
Браун ответил так:
по-моему, тут он прав, и смешная скорость мало что решает. чтобы договориться, агентам не нужны длинные сообщения. «да», «нет», «сейчас» это один бит.
через месяц OpenAI проверила похожее на практике, только через кеш процессора: агенты в разных изолированных машинах на одном сервере передали друг другу секрет.
оговорка: агентам прямо сказали искать канал и дали подсказки про уязвимости. а тепловой вариант вообще работает, только если на обеих машинах уже стоит нужный код.
так что пока это два заключённых, которые перестукиваются по батарее. азбуку им выдал сам надзиратель.
работа называется BitWhisper, 2015 год. один комп греется, второй замеряет это своими датчиками температуры. дальность до 40 см, скорость 1-8 бит в час. слово из пяти латинских букв (40 бит) ползёт от 5 до 40 часов.
ThePrimeagen (популярный стример-разработчик) назвал идею глупой: скорость там примерно 0.01 бод.
Браун ответил так:
пример с теплом академический, суть в координации агентов, а для неё хватит и нескольких бит
по-моему, тут он прав, и смешная скорость мало что решает. чтобы договориться, агентам не нужны длинные сообщения. «да», «нет», «сейчас» это один бит.
через месяц OpenAI проверила похожее на практике, только через кеш процессора: агенты в разных изолированных машинах на одном сервере передали друг другу секрет.
оговорка: агентам прямо сказали искать канал и дали подсказки про уязвимости. а тепловой вариант вообще работает, только если на обеих машинах уже стоит нужный код.
так что пока это два заключённых, которые перестукиваются по батарее. азбуку им выдал сам надзиратель.