А вот здесь неудобно получилось: автор этого текста Роман Мерзляков попросил меня об интервью, задал весьма интересные вопросы о взаимоотношениях AI и ЧГК.

Я сказал, что ответ на пару вопросов можно найти в таком-то посте, а про остальные собирался подумать и сформулировать... да так и не собрался, и Роман тоже не напомнил, видимо, потому что я ему это так явно и не пообещал.

В результате текст вышел с несколькими цитатами из постов про недавний CSSpace митап, да и всё. Конечно, всё, что тут от моего лица написано, я действительно писал, но мог бы сказать больше и интереснее. А жаль, вопросы были и правда хорошие; oh well.

https://rg.ru/2025/08/29/dodumalis.html

#publications #press

Дружественная лаборатория Максима Абрамова уже и пост написала, и фото, кстати, хорошие вышли.

(Понимаю, что сегодня уже достал вас постами, но это, конечно, всё равно не считается за единицу контента, которые я стараюсь по одной в день выдавать.)

#talks #press #ai

Накануне Нового года меня пригласили в Selectel записать подкаст с ведущим Ефимом Головиным и вторым гостем Марком Паненко. И вот он наконец-то вышел:

ИИ — враг образования? | Подкаст Selectel «Сегодня на ретро»
(выложил также на страничку "Выступления")

Я уже, конечно, деталей не помню, но осталось впечатление, что хорошо поговорили. В основном о том, как развитие AI меняет образование уже сейчас и как будет менять в скором будущем.

Спасибо большое за приглашение! Буду рад при случае прийти ещё, мне кажется, подкаст — хороший для меня формат. А может, свой пора уже завести?..

#ai #talks #press

Астрологи, как это иногда бывает, объявили неделю AI safety. Ко мне пришли из "Коммерсанта" и задали несколько хороших вопросов, касающихся в том числе и безопасности. И вот вышла статья:

Победа открытых весов: как 270 компаний выступили против ограничения открытых ИИ-моделей в США

Правда, насколько я понял, концепция материала потом изменилась, потому что из моих ответов вошёл только один. Да и заголовок статьи немного странный — в чём победа, над кем победа... Но я же могу для вас выложить все ответы целиком.) Что с удовольствием и делаю.

1. Сейчас на глобальном рынке мы видим, что крупнейшие игроки не просто публикуют открытые модели, но и сами строят продукты на чужих весах. Например, Nvidia. Компания обучает модели с нуля, но параллельно использует открытые веса конкурентов. Считается ли это нормой рынка? Можно ли сказать, что сегодня конкурентоспособность, экономическая ценность ИИ-продукта определяется не самой базовой моделью, а тем, что компания строит вокруг неё — данными, памятью, инструментами, сервисами и интеграцией в продукт?

Во-первых, насколько я знаю, Nvidia не обучает большие языковые модели с нуля; они предоставляют инфраструктуру (например, NVIDIA NIM), постоянно улучшают драйверы, тензорные ядра и так далее (например, TensorRT-LLM), а также разрабатывают много передовых моделей в области обработки изображений (тот же DLSS), но LLM от Nvidia, кажется, не существует.

Во-вторых, ответ зависит от того, что вы имеете в виду под "ИИ-продуктом". Если ваш продукт опирается на большую языковую модель, то базовую LLM — хоть открытую, хоть закрытую — заменить, конечно, невозможно, вы должны или сами потратить огромные ресурсы на её предобучение, или взять готовую (очевидно, открытую). Но при этом есть огромные возможности для того, чтобы разрабатывать разные "обвязки" (harnesses) вокруг базовых моделей, и большинство современных AI-стартапов как раз этим и занимаются. Кроме того, конечно же, есть масса AI-продуктов, которые вообще не используют большие языковые модели.

2. Если все-таки ценность ИИ-продукта создается на этапе применения — насколько отказ от открытых моделей может повлиять на развитие технологий на российском рынке? Может ли это быть критично с учетом санкций и ограниченного доступа к вычислительным мощностям?

Мне кажется, на российском рынке свои LLM с нуля обучает только Сбер (модели Gigachat), остальные используют открытые модели как минимум для инициализации весов. Честно говоря, не вижу смысла отказываться от того, чтобы переиспользовать очень большую работу, которую за вас уже сделали другие люди и предоставляют бесплатно. Дело не в том, с чего вы начинаете, а в том, что у вас в итоге получится.

3. Есть стереотип, что открытая модель по умолчанию опаснее закрытой. При этом Национальное управление по телекоммуникациям и информации США пришло к выводу, что риск моделей с широко доступными весами недостаточен, чтобы оправдывать ограничения на их распространение. Что вы думаете на этот счет? Стоит ли компаниям отказываться от открытых моделей или использовать их, но при это брать ответственность за безопасность их внедрения? Что именно в таком случае необходимо проверять перед использованием модели в продакшене?

Это не стереотип, а довольно очевидное соображение: конечно, открытая модель при прочих равных гораздо опаснее, потому что как только веса модели выложены, вы, во-первых, никаким образом уже не можете отменить этот релиз (как смог, например, Anthropic временно закрыть обратно Claude Fable в июне), а во-вторых, никак не сможете помешать потенциальным злоумышленникам взломать меры безопасности, которые были предприняты для вашей модели, и использовать её в абсолютно любых целях. Положение дел сейчас таково, что взломать (в смысле jailbreak) обычно можно даже закрытые модели, а открытые и вовсе невозможно никак защитить, ведь противник имеет возможность буквально дообучать модель в нужную ему сторону.

Говоря простым языком, если OpenAI выпустит новую версию GPT, которая могла бы помочь плохому человеку разработать новый более летальный COVID, у OpenAI будет шанс заметить это и закрыть доступ, пока не поздно. А если такую модель со всеми весами выложит Deepseek, шансов уже никаких не будет.

Я думаю, что открытые модели пока выкладывают только потому, что те самые "прочие" совершенно не "равные": открытые модели значительно отстают от фронтирных закрытых, и они безопасны не потому, что чем-то защищены, а потому, что не слишком много чего могут. Но в скором будущем и разработчикам открытых моделей тоже придётся что-то с этими соображениями делать.

4. Как open source влияет на развитие научной отрасли? Почему его считают двигателем научного прогресса?

В первую очередь open source способствует свободной коллаборации между людьми (а теперь и AI-агентами). Когда любой заинтересовавшийся может и заметить недостающую функциональность или дыру в безопасности, и сразу же найденное исправить, это для программного продукта, разумеется, очень хорошо. Именно поэтому open source продукты обычно наиболее безопасны и эффективны: их проверяло максимальное число глаз.

Однако не нужно путать open source (открытый исходный код) и open weights модели (с открытыми весами), о которых шла речь выше. Даже если мы с вами получим исходный код, которым Anthropic и OpenAI обучают свои базовые языковые модели (в нём, скорее всего, не так уж и много секретов), от того, чтобы получить свой собственный Claude или GPT, нас ещё будут отделять многие миллиарды долларов, которые нужно будет потратить на вычисления. И это если к коду будут также прилагаться и наборы данных для обучения — ещё одна огромная статья расходов.

#aisafety #ai #press