На следующей неделе уже начинается новый учебный год. Этот факт, конечно, у меня пока не очень поместился в голове. Но первый пункт нового учебного года будет точно очень приятный и интересный: уже 2 сентября мы начинаем семинары лаборатории Маркова! Они будут теперь по средам, начало в 13:40,

В Петербург ненадолго приезжает Кирилл Тыщук, выпускник МКН, который уже довольно давно работает в Deepmind над AI Safety. Кирилл расскажет про свежую статью со своим участием, а потом и вообще о том, что вы давно хотели узнать про AI Safety, но боялись спросить.

Debate Training Reduces Reward Hacking in RLAIF
Ссылка на трансляцию (среда 2 сентября, 13:40)

Кирилл Тыщук (AGI Safety Research Engineer, Google DeepMind)

Награды для LLM — дело тонкое. Если учить LLM давать правильные ответы любым способом, она, оказывается, может научиться красть их из Hugging Face. А если учить её получать одобрение другой модели-судьи, то она рано или поздно научится судью обманывать — причём тем скорее, чем слабее судья по сравнению с обучаемой моделью, то есть именно в том режиме, который наиболее актуален для контроля за системами возрастающей мощности.

Мы расскажем, как работает техника AI Safety via Debate (Irving, Christiano, Amodei) и покажем, что она вполне помогает слабому судье Gemini 2.5 Flash Lite давать награды более сильной Gemini 2.5 Flash и не быть обманутым в процессе.

Обычный RLAIF быстро подстраивается под ошибки судьи: награда растёт, а точность и судьи, и модели падает. Дебаты сохраняют качество наград на протяжении всего обучения и позволяют восстановить 45% разрыва качества модели до обучения с верифицируемыми наградами (оракулом).

Обсудим и проблемы подхода: без ограничений на игроков состязательное обучение вырождается во взлом судьи уже со стороны критика, да и в целом вместо хороших аргументов соперники часто переходят на крик.

После этого в неформальной обстановке обсудим область и новости AI Safety и Alignment в целом. Буду рад поделиться своим опытом и ответить на ваши вопросы.

#markovlab #seminar #spsu

Астрологи, как это иногда бывает, объявили неделю AI safety. Ко мне пришли из "Коммерсанта" и задали несколько хороших вопросов, касающихся в том числе и безопасности. И вот вышла статья:

Победа открытых весов: как 270 компаний выступили против ограничения открытых ИИ-моделей в США

Правда, насколько я понял, концепция материала потом изменилась, потому что из моих ответов вошёл только один. Да и заголовок статьи немного странный — в чём победа, над кем победа... Но я же могу для вас выложить все ответы целиком.) Что с удовольствием и делаю.

1. Сейчас на глобальном рынке мы видим, что крупнейшие игроки не просто публикуют открытые модели, но и сами строят продукты на чужих весах. Например, Nvidia. Компания обучает модели с нуля, но параллельно использует открытые веса конкурентов. Считается ли это нормой рынка? Можно ли сказать, что сегодня конкурентоспособность, экономическая ценность ИИ-продукта определяется не самой базовой моделью, а тем, что компания строит вокруг неё — данными, памятью, инструментами, сервисами и интеграцией в продукт?

Во-первых, насколько я знаю, Nvidia не обучает большие языковые модели с нуля; они предоставляют инфраструктуру (например, NVIDIA NIM), постоянно улучшают драйверы, тензорные ядра и так далее (например, TensorRT-LLM), а также разрабатывают много передовых моделей в области обработки изображений (тот же DLSS), но LLM от Nvidia, кажется, не существует.

Во-вторых, ответ зависит от того, что вы имеете в виду под "ИИ-продуктом". Если ваш продукт опирается на большую языковую модель, то базовую LLM — хоть открытую, хоть закрытую — заменить, конечно, невозможно, вы должны или сами потратить огромные ресурсы на её предобучение, или взять готовую (очевидно, открытую). Но при этом есть огромные возможности для того, чтобы разрабатывать разные "обвязки" (harnesses) вокруг базовых моделей, и большинство современных AI-стартапов как раз этим и занимаются. Кроме того, конечно же, есть масса AI-продуктов, которые вообще не используют большие языковые модели.

2. Если все-таки ценность ИИ-продукта создается на этапе применения — насколько отказ от открытых моделей может повлиять на развитие технологий на российском рынке? Может ли это быть критично с учетом санкций и ограниченного доступа к вычислительным мощностям?

Мне кажется, на российском рынке свои LLM с нуля обучает только Сбер (модели Gigachat), остальные используют открытые модели как минимум для инициализации весов. Честно говоря, не вижу смысла отказываться от того, чтобы переиспользовать очень большую работу, которую за вас уже сделали другие люди и предоставляют бесплатно. Дело не в том, с чего вы начинаете, а в том, что у вас в итоге получится.

3. Есть стереотип, что открытая модель по умолчанию опаснее закрытой. При этом Национальное управление по телекоммуникациям и информации США пришло к выводу, что риск моделей с широко доступными весами недостаточен, чтобы оправдывать ограничения на их распространение. Что вы думаете на этот счет? Стоит ли компаниям отказываться от открытых моделей или использовать их, но при это брать ответственность за безопасность их внедрения? Что именно в таком случае необходимо проверять перед использованием модели в продакшене?

Это не стереотип, а довольно очевидное соображение: конечно, открытая модель при прочих равных гораздо опаснее, потому что как только веса модели выложены, вы, во-первых, никаким образом уже не можете отменить этот релиз (как смог, например, Anthropic временно закрыть обратно Claude Fable в июне), а во-вторых, никак не сможете помешать потенциальным злоумышленникам взломать меры безопасности, которые были предприняты для вашей модели, и использовать её в абсолютно любых целях. Положение дел сейчас таково, что взломать (в смысле jailbreak) обычно можно даже закрытые модели, а открытые и вовсе невозможно никак защитить, ведь противник имеет возможность буквально дообучать модель в нужную ему сторону.

Говоря простым языком, если OpenAI выпустит новую версию GPT, которая могла бы помочь плохому человеку разработать новый более летальный COVID, у OpenAI будет шанс заметить это и закрыть доступ, пока не поздно. А если такую модель со всеми весами выложит Deepseek, шансов уже никаких не будет.

Я думаю, что открытые модели пока выкладывают только потому, что те самые "прочие" совершенно не "равные": открытые модели значительно отстают от фронтирных закрытых, и они безопасны не потому, что чем-то защищены, а потому, что не слишком много чего могут. Но в скором будущем и разработчикам открытых моделей тоже придётся что-то с этими соображениями делать.

4. Как open source влияет на развитие научной отрасли? Почему его считают двигателем научного прогресса?

В первую очередь open source способствует свободной коллаборации между людьми (а теперь и AI-агентами). Когда любой заинтересовавшийся может и заметить недостающую функциональность или дыру в безопасности, и сразу же найденное исправить, это для программного продукта, разумеется, очень хорошо. Именно поэтому open source продукты обычно наиболее безопасны и эффективны: их проверяло максимальное число глаз.

Однако не нужно путать open source (открытый исходный код) и open weights модели (с открытыми весами), о которых шла речь выше. Даже если мы с вами получим исходный код, которым Anthropic и OpenAI обучают свои базовые языковые модели (в нём, скорее всего, не так уж и много секретов), от того, чтобы получить свой собственный Claude или GPT, нас ещё будут отделять многие миллиарды долларов, которые нужно будет потратить на вычисления. И это если к коду будут также прилагаться и наборы данных для обучения — ещё одна огромная статья расходов.

#aisafety #ai #press

Начинается новый учебный год. В этот раз, честно говоря, со смешанными чувствами я в него захожу.

У меня очень много лекций в осеннем семестре: СПбГУ, Центральный университет, ЮФУ, сразу несколько курсов в ИТМО... Это, конечно, по сути хорошо, и большое спасибо всем, кто меня так охотно приглашает в разные места преподавать. Лекции — это то, что я действительно хорошо умею делать, мне это нравится, да и деньги, не буду скрывать, здесь не на последнем месте.

Но как-то, признаться, за лето я совершенно не отдохнул, а скорее наоборот. Современные AI-агенты очень хорошо выполняют роль колеса для белки: с таким длинным рычагом действительно хочется делать всё на свете, и действительно многое получается, но в результате всё-таки от всего этого слегка выгораешь. Как я кому-то писал в ответ на вопрос о том, когда уже AI уменьшит сорокачасовую рабочую неделю хотя бы до 30 часов, сначала будет 60-80, а потом ноль. Сами понимаете, на каком этапе мы все пока что находимся...

Так что не знаю, как я буду справляться теперь, когда ко всему происходящему добавляется ещё и куча лекций. Думаю, что просто не буду. У меня и так уже один очень важный и большой проект, боюсь, окончательно срывается, потому что я просто не могу себя заставить им заниматься.

Но, уважаемые студенты и другие слушатели, вы не беспокойтесь, я очень надеюсь, что на вас эти сомнения никоим образом не отразятся! Лекции будут как обычно, в привычных уже форматах, коих немало я понавыкладывал уже на своём сайте. Просто иногда хочется немного поныть.)

Всех люблю, и всех с первым сентября!
Это всё-таки действительно праздник. Надеюсь, что учебный год будет хорошим!

#blog #lifestyle #teaching