Начинаю понемногу закрывать бэклог. Сегодня расскажу о том, что две недели назад вышел (пока онлайн) очередной том "Записок научных семинаров ПОМИ" под моей редакцией:

Том 552, "Исследования по прикладной математике и информатике. VI"

Моё участие как редактора "Записок" начиналось с идеи Валентина Малых о том, что надо бы где-то опубликовать журнальные версии лучших статей конференции AINL; поначалу почти ничего другого в моих томах и не было.

Мы это до сих пор делаем, и ближе к Новому Году я надеюсь подготовить новый том с AINL этого года. Но вот текущий том, 552-й, уже совсем другой по сути. Туда я действительно принимал статьи от коллег и знакомых, не объявлял официально call for papers (нет сил разгребать большой поток), но и так статей получилось немало, томик на 400 страниц вышел.

Рад, например, что начали присылать статьи сотрудники лаборатории Маркова СПбГУ, теперь вот в моём томе даже филдсовский лауреат опубликовался, плюс есть статьи не только про машинное обучение, но и, например, про коммуникационную сложность.

В этом томе вышел мой большой обзор в двух частях про influence functions, может быть, расскажу о нём отдельно потом. А пока вот, enjoy; и если вдруг у вас есть интересные статьи по машинному обучению, пишите; официального call for papers по-прежнему лучше не ждать.) Думаю, следующий том будет или в самом конце этого года, или в начале следующего.

#ai #publications #zapiski #research

Пятница у меня традиционно посвящена обзорам игр, но, как писал Лев Николаевич, не любил и не трудился не могу молчать. Обзор игры я напишу чуть позже, а сегодня опять про математику.

Оговорка "на этой неделе (в первой половине этой недели...)" оказалась пророческой, и вот у нас через два дня опять громкий результат. Опять пала широко известная гипотеза, на этот раз с чрезвычайно чистым примером полного отсутствия дополнительных harness'ов или хитрого промптинга.

Ниже только введение и оглавление, читать как всегда по ссылке (и очень рекомендую прочитать хотя бы часть про четыре промпта):

Всё течёт, всё опровергается: гипотеза Диница — Гарга — Гёманса

1. Введение

В прошлый раз, рассказывая про контрпример к проблеме якобиана, я закончил пост вопросом: "Что дальше, коллеги?"

Ответ занял два дня.

22 июля Дмитрий Рыбин написал в X, что GPT 5.6 Pro опровергла гипотезу Диница — Гарга — Гёманса (Dinitz–Garg–Goemans conjecture) из теории потоков в графах. Гипотеза простояла с конца 1990-х; в 2025 году Swamy et al. всё ещё называли её “a famous conjecture” и писали, что даже существенно ослабленный вариант был бы прорывом.

Как и в случае проблемы якобиана, здесь пока нет ни журнальной статьи, ни формального рецензирования, но они и не нужны, потому что проверить контрпример очень легко. У нас есть пост Рыбина, выложенный им полный диалог с моделью и четырёхстраничный арифметический сертификат, но в графе всего семь вершин, девять дуг и восемь возможных неделимых потоков. Мы с GPT независимо проверили все восемь программой, которая перебирает буквально все пути в графе, и никаких ошибок здесь нет.

Более того, контрпример оказался весьма интересно устроенным. Внутри него прячется известный в комбинаторной оптимизации объект — треугольник попарных конфликтов.

Давайте разберёмся, что такое делимые и неделимые потоки и в чём состояла гипотеза. Потом обсудим, почему она казалась естественной и почему её было так трудно доказать. Затем проверим контрпример, вытащим из него структурную идею и попробуем его уменьшить. А в конце, разумеется, посмотрим на промпты. Спойлер: там буквально написано "you should do a breakthrough".

2. Потоки, которые можно и нельзя делить

3. Теорема Диница — Гарга — Гёманса

4. Почему в гипотезу верили и почему она была сложной

5. Семь вершин и девять дуг

6. Что там происходит на самом деле

7. Проверка, уменьшение контрпримера и граница 9/8

(в этом разделе у меня даже получилось немножко продолжить рассуждение GPT и сформулировать то, как теперь выглядит открытый вопрос)

8. Четыре промпта

9. Заключение

[...]

За три последних поста мы увидели сначала двухстраничное доказательство гипотезы о двойном покрытии циклами, потом многочлен, помещающийся в твит, а теперь — контрпример в виде стандартного треугольника целочисленной оптимизации. Но каждый из этих кажущихся простыми результатов закрыл гипотезу, над которой действительно думало много живых математиков.

У меня нет сомнений, что если бы любой из этих результатов получил человек, он стал бы широко известен в узких кругах и всегда имел бы гарантированную профессорскую позицию в хорошем месте, даже если бы больше ничего великого не сделал и продолжал бы всю жизнь изучать следствия и расширения своего прорывного результата (таких примеров в науке много, это не что-то плохое). Так что вопрос о том, достигли ли AI-модели человеческого уровня в математике, кажется мне уже закрытым.

А что ещё дальше, коллеги?..

#ai #math #blog #longreads

Ну и чтобы уж закруглить эту безумную неделю — ещё одной важной новостью давеча был взлом Huggingface новой (внутренней) моделью OpenAI. И Huggingface, и OpenAI выпустили довольно подробные описания произошедшего, рекомендую прочитать их и, разумеется, пост Zvi об этом:

— Security incident disclosure — July 2026
— OpenAI and Hugging Face partner to address security incident during model evaluation
— OpenAI Model Hacks Into HuggingFace During Cybersecurity Evaluation

Я не специалист по кибербезопасности и не хочу им становиться, поэтому по сути ничего вам не скажу и подробного поста писать не буду. Вот популярный пересказ Джеффри Лэдиша, моё понимание не сильно дальше этого.

Но здесь есть очень важная деталь со стороны безопасности AI, из-за которой я теперь в докладах об AI safety буду теперь об этом рассказывать (хотя с точки зрения capabilities в целом ничего нового, Mythos всех взламывал ещё полгода назад).

Модель OpenAI решала бенчмарк ExploitGym (Wang et al., 2026). Поскольку это бенчмарк по взлому, всякие там классификаторы и прочие safeguards по кибербезопасности были убраны, и OpenAI отчасти пытается представить дело так, как будто в этом вся и загвоздка. Но тут дело интереснее.

Зачем LLM так старательно пыталась сначала получить доступ к интернету (для этого ей пришлось взломать много чего внутри OpenAI), а потом к секретам HuggingFace? Для того, чтобы получить правильные ответы на бенчмарк ExploitGym.

С одной стороны, это классический reward hacking. Например, модель проходит тест, замечает, что тестовые скрипты ей "случайно" тоже положили в доступ, и вместо прохождения теста переписывает скрипты так, чтобы они всегда выдавали 1. Такое бывало много раз и давно никого не удивляет.

Но здесь ситуация отличается. Обратите внимание, что:

— в самой ситуации вообще ничего серьёзного или требующего по человеческим меркам "особого отношения" не было, модель просто проходила стандартный тест, каких десятки;

— взлом сначала инфраструктуры OpenAI, а потом Huggingface требовал очень много усилий (токенов), и успех был далеко не гарантирован;

— более того, хотя внешние классификаторы были отключены, запрос к модели наверняка так или иначе запрещал такое поведение.

Так что это одна из первых ласточек того самого максимизатора канцелярских скрепок: чтобы достичь заданной цели, AI-системы готовы на всё, в том числе на то, что человеку показалось бы очевидно неразумным overkill. Может быть, я и сам могу решить задачу, но задача непростая, да и бог знает, что там у этих людей в ответах записано; надёжнее будет украсть правильный ответ. Это напоминает то, как AlphaZero начинал делать очень надёжные, защитные и в том числе субоптимальные ходы, когда понимал, что побеждает, ведь надо максимизировать вероятность победы, а не число очков.

Следующий шаг, очевидно, в том, чтобы научиться скрывать свои действия. Сами модели пока не хотят и не собираются ничего скрывать, они просто проходят тест и им наплевать, узнают ли об их действиях в OpenAI постфактум. Но инструментальная сходимость очевидна: если хорошо скрыть свои действия, тест пройти получится лучше, точнее, решение с большей вероятностью засчитают.

В общем, очень хорошо, что у нас (человечества) появляются такие вот игрушечные примеры и предупреждения. Осталось только им внять.

Кстати, пост OpenAI о том, куда делась модель, опровергнувшая гипотезу Эрдёша, звучит очень позитивно: нашли проблемы, остановили эксперименты, улучшили safeguards. Разве что после случая с Huggingface читается с немного другим чувством.

А xkcd #2278, конечно, всё равно вечен.

#aisafety #ai #longreads

Возвращаюсь из Москвы, куда ездил выступать в Центральный Университет. А с нового учебного года буду и преподавать там.

Остался под большим и очень приятным впечатлением. ЦУ (пока) маленький, добрый и домашний, и кажется, что с большой любовью относится и к своим студентам, и к программе обучения, и (что немаловажно! :) ) к преподавателям.

Главное, конечно, всегда люди, и все, с кем успел познакомиться, просто великолепны. Оля, Олег, Евгений, очень-очень рад познакомиться, все в сердечке! А с Ваней был знаком и раньше. Надеюсь, мы с вами ещё что-нибудь вместе поделаем, и да, в Питер тоже приезжайте!)

Я выступал перед поступающими абитуриентами. Так что на первом докладе было странное ощущение, что передо мной очень холодная аудитория, которая слушает меня через силу. Но потом мне рассказали, что они должны были сразу после моего доклада отправляться на вступительный экзамен, и всё стало на свои места.) На втором докладе, к счастью, на экзамен отправлялась только очень небольшая часть аудитории, так что с аудиторией было уже всё прекрасно.) Оба доклада, надеюсь, для вас выложу когда-нибудь (ну, когда бэклог разберу, конечно же).

Сам ЦУ тоже очень милый, выглядит абсолютно как офис, а не как храм науки. Говорят, храмом науки будет здание Центрального телеграфа, которое они сейчас ремонтируют. В общем, буду очень рад здесь преподавать, и надеюсь, что студенты и коллеги мной тоже останутся довольны. Спасибо за приглашение!!

#lifestyle #travel #teaching #photo