Ещё одна страничка, которая будет заполняться в наступающем семестре, — доклады на семинаре лаборатории Маркова:

Семинар лаборатории Маркова — осень 2026

И начался он, как я уже писал, очень круто; к нам приехал выпускник МКН из DeepMind и рассказал об одной из их работ в области AI safety:

Семинар Markov Lab — 2026.09.02 — Debate Training Reduces Reward Hacking in RLAIF
(слайды на странице семинара)

Кирилл Тыщук
(Google DeepMind)

Кирилл рассказывал о подходе, который уже давно развивают: как устроить так, чтобы относительно "глупый" судья (потенциально человек, в экспериментах — более слабая LLM) смог обнаружить, не обманывает ли его более "умный" противник (более сильная LLM).

Суть подхода в том, чтобы устроить дебаты между двумя сильными LLM так, чтобы одна искала ошибки в рассуждениях другой. И показано, что действительно, при наличии умного оппонента, который может указывать на слабые места, "продать" лажу даже слабому судье получается куда реже, и эффект этот достаточно устойчивый.

Мне, правда, показалось, что на самый интересный вопрос работа вообще не пытается отвечать: все эксперименты сделаны для математических задач, в которых есть настоящий несомненный правильный ответ, и даже слабый судья скорее всего сможет проследить за настоящим решением и проверить его.

Было бы гораздо интереснее попробовать хотя бы на качественном уровне (понятно, что большой эксперимент тут сделать трудно) посмотреть, что будет с задачами неверифицируемыми, для которых это всё в конечном счёте и предназначено.

Но в любом случае было очень интересно, а потом была ещё бурная дискуссия о современной ситуации в AI safety, которую по соображениям NDA Кирилл попросил в общедоступное видео не включать.

Впрочем, думаю, что я ничего не раскрою, если суммаризирую так: AI safety — это самая важная проблема человечества прямо сейчас, и как её решать, не знает никто. Такие дела.

#spsu #markovlab #seminar

Сегодня был очень тяжёлый день: четыре пары и ещё часа четыре пеших прогулок. Но обзор по расписанию!

У нас сегодня тайкун, в котором вы издаёте газету в Нью-Йорке 1930-х: строите редакцию этаж за этажом, рассылаете репортёров по городу, верстаете воскресный номер и торгуетесь с мафией, мэрией и высшим светом. Механик здесь очень много, и они хорошо работают вместе; а кроме циферок, здесь есть и истории, что всегда приятно. Минусы тоже есть, в основном традиционные для жанра. Как обычно, читать лучше по ссылке, ниже сокращённо:

News Tower
(и вот выложил на DTF)

Действие начинается 7 октября 1929 года, то есть за три недели до краха на Уолл-стрит, и это, разумеется, первый большой заголовок, который вам предстоит напечатать. Вы получили в наследство от отца захудалую газетёнку с одним репортёром; дальше — Великая депрессия, сухой закон, гангстеры, коррумпированная мэрия и вся эта прекрасная эпоха, которую мы все очень любим романтизировать. Оформлено всё под ар-деко и старую прессу [...] Приятный и цельный стиль.

В тайкуне главное механики, так что давайте о них я расскажу поподробнее. Игровая неделя заканчивается воскресеньем, когда номер уходит в печать [...]

Новости. На карте города (а потом и страны, и мира) появляются сюжеты [...] У сюжетов есть теги — криминал, политика, спорт, бизнес и т.д. [...]

Вёрстка. В воскресенье вы собираете номер на сетке: первая полоса, вторая, третья. Одинаковые теги на одной странице дают бонус к продажам [...] Это маленькая головоломка каждую неделю, и она действительно не надоедает.

Башня и люди. В здании происходит собственно тайкун. Редакция растёт вверх [...] У сотрудников много разных профессий: репортёры разных специализаций, телеграфисты, фотографы, наборщики, печатники, рекламные агенты, юристы, уборщики. У всех есть потребности [...]

Фракции. Нью-Йорком управляют четыре группы: мафия, мэрия, военные и высший свет. У каждой фракции по несколько персонажей со своими просьбами [...]

Конкуренты и районы. Читатели живут по районам, и каждый район надо завоевать: попасть в предпочтения местной публики, а потом ещё и отбить читателей у двух конкурирующих газет [...]

А потом ещё добавляются новости из Европы, куда можно отправлять репортёров разными видами транспорта...

Главное в том, что это всё действительно круто работает вместе. Хороший сюжет надо успеть привезти, для этого нужен свободный репортёр, который не ушёл обедать, потому что столовая на четвёртом этаже, а лифт занят. Материал про мафию поднимет тираж в Бруклине, но испортит отношения с мэрией и, возможно, приведёт к иску, если юрист не успеет его отбить. Реклама даст денег, но отнимет место на полосе. Ни одна из этих механик по отдельности не сложная, но их сцепление создаёт то самое ощущение, ради которого тайкуны и существуют: ты вечно чуть-чуть не успеваешь и обещаешь себе что-то улучшить к следующему воскресенью.

Истории. [...] Новости здесь настоящие: крах 1929 года, тарифы Смута-Хоули, смерть авиатора Гленна Кёртисса, бунт в Уотсонвилле, Роуз Боул, звуковое кино и многое, очень многое другое. [...]

Минусы традиционны для тайкунов. Во-первых, одна партия идёт бесконечно долго. [...] Во-вторых, отсюда следует логичный вопрос: для кого здесь реиграбельность? [...] Если одна партия занимает двадцать-тридцать часов, кто будет начинать вторую ради того, чтобы попробовать узкую башню вместо широкой? [...] В-третьих, истории не повторяются и имеют исторический смысл, и это здорово, но к десятому часу перестаёшь обращать на них внимание [...] Механика побеждает нарратив. Думаю, с этим можно было бы как-то справиться, если бы в игре был и механики, завязанные на содержание: бонус, например, не просто за тег, а за продолжение истории, которую раскрывал в предыдущем номере. Но это было бы, наверное, очень сложно сделать.

В общем, News Tower — отличный тайкун с редким сеттингом, приятным оформлением и большим количеством механик. [...] Рекомендую. И даже если у вас, как и у меня, так и не получится начать вторую партию, за время первой игра уже точно оправдает все потраченные деньги.

#tgif #games

И ещё один курс начался! Как и в прошлом году, я продолжаю преподавать в Южном федеральном университете, где задача состоит в том, чтобы рассказать о машинном обучении на первом курсе, ещё до всякого теорвера и даже, формально говоря, до матанализа.

В этом году мы решили начать с глубокого обучения, потому что оно действительно требует меньше математической подготовки (если не углубляться в фундаментальные основы). Вот страничка нового курса:

Технологии и фронтиры науки о данных — ЮФУ, осень 2026

Впрочем, хоть это и будет про нейросети, я всё равно начал с истории и общего введения в то, что такое искусственный интеллект; это популярная часть, для которой вообще никакой математики не надо. Первая лекция:

ЮФУ — 2026.09.07 — Что такое AI? Введение, терминология, типы данных и задач
(слайды на странице курса)

Это был очень интересный и необычный опыт, потому что на первую лекцию пришли более 600 (!!!) человек, и вы, наверное, догадываетесь, во что превратился чат нашей конференции. Разумеется, в эфир голосом слушателей не пускали, но и чата мне более чем хватило.)

Поэтому, хотя я в целом вроде справился и что-то даже содержательное рассказал, смотреть запись лекции, наверное, будет сложно: там много ответов на вопросы, которых вы в записи не увидите, и реакций на комментарии, которых тоже нет. Но для коллег из ЮФУ записи, надеюсь, будут всё-таки полезны, так что выкладывать буду в любом случае.

Но и в целом мне понравилось! Это было круто, необычно, местами очень смешно и интересно. Надеюсь, слушатели продолжат приходить в таких же количествах, и мы вместе пройдём этот путь к пресловутым "фронтирам науки о данных" так далеко, как сможем за семестр!

#sfu #lectures #dsfrontiers

Мимо новости о том, как AI-модели решили задачу тысячелетия из списка Clay Institute, пройти было сложно. Но очень хотелось, потому что это весьма далёкая от меня математика, и по сути мне сказать здесь особо нечего, а разбирать скандалы о приоритете, кажется, особого смысла нет.

Тем не менее, когда с вопросами пришли журналисты, стало ясно, что не отвертеться. Что ж, попробую объяснить, что произошло, и высказать своё мнение о том, что всё это значит для нас и для математики в целом. План такой: сначала опишу произошедшее так, как я это понимаю, а потом отвечу на прямые вопросы (раз уж они этот пост мотивировали) и в частности выскажу своё личное мнение.

Бонусом появился ещё один раздел: пока я отвечал на вопросы и писал пост, 25 филдсовских лауреатов выпустили обращение по поводу последних результатов LLM в математике. О нём мы тоже поговорим.

Пост по ссылке, он большой, ниже только развёрнутое оглавление, а читать надо на сайте:

Уравнения Навье-Стокса: кто виноват и что делать

1. Что произошло, простыми словами.

— Задача. Вопрос тысячелетия не о том, как течёт вода, а о том, может ли гладкое течение за конечное время "сломаться", разогнаться до бесконечной скорости.

— Что доказали модели OpenAI. Утверждения C и D Феффермана: для любой вязкости существует гладкая внешняя сила, доводящая жидкость до разрыва. И отдельно, менее заметно для прессы, но, возможно, важнее: разрыв для уравнений Эйлера вообще без силы.

— Механизм решения (насколько я понял, я не специалист). Идея испанских математиков Кордобы и Мартинес-Сороа: взрывать поле слой за слоем, следя, чтобы невязка (она же сила) оставалась гладкой. Бакмастер и Альпёге с помощью Claude и Codex довели её до уравнений Эйлера, OpenAI — до Навье-Стокса.

— Статус. Оба доказательства проверены в Lean, но до премии Клэя по правилам ещё публикация, два года и признание сообщества.

— Как это делали AI-модели. Два математика — год работы; OpenAI — 10 000 агентов, 130 млрд токенов и 88 часов.

— Конфликт. Что произошло между Бакмастером и Бубеком, и почему я думаю, что это банальная мискоммуникация, а не настоящие угрозы.

— Логи сессий в Codex. Как "we cannot rule out" превратилось в признание вины, почему я в это не верю, что OpenAI сказала потом, а также параллельный случай Андреаса Тома с несофическими группами.

Явно скажу, что использовать личные чаты для таких целей было бы неэтично, даже если формально легально.

2. Ответы на вопросы журналистов.

— Насколько это резонансно? Очень, но главная сенсация — не результат, а то, как он получен: "момент Deep Blue против Каспарова".

— Кто достоин премии? Премия и заслуга — разные вещи. Если делить, то между Кордобой, Мартинес-Сороа, Бакмастером и Альпёге, причём первые двое, насколько я понимаю, важнее.

— Прорыв или промышленный шпионаж? Услышать слух и запустить агентов — не шпионаж. А использовать чужие логи — плохо, но я не верю, что это делали.

— Прорыв в науке или борьба корпораций? И то, и другое; а главное — фазовый переход в математике, к которому социальные механизмы науки не готовы.

— Полноценное достижение или "просто вычисления"? Конечно, полноценное: будь агенты людьми, они были бы претендентами на премию.

— Ждать ли решения других задач тысячелетия? Неизвестно, но прогресс не замедляется.

— Изменит ли AI жизнь всех людей? Уже изменил; остаётся только вопрос, изменит ли апокалиптически или всего лишь очень серьёзно.

3. Обращение филдсовских лауреатов.

С посылками письма не согласиться трудно, а вот вывода я не понимаю: по сути, математики пишут, что существование непонятного доказательства может как-то помешать достичь человеческого понимания?

Между посылками и заключением есть непроговорённый шаг (видимо, про мотивацию), и обсуждать стоит именно его.

4. Заключение.

Но самое интересное для меня — один график из поста OpenAI: их внутренняя модель уже сильно лучше Astra, по крайней мере в математике.

А если способности к математике становятся сверхчеловеческими, то и к AI-исследованиям.

А если к AI-исследованиям, то, очевидно, ко всему…

Такие дела.

#ai #blog #longreads #math