Начинаю понемногу закрывать бэклог. Сегодня расскажу о том, что две недели назад вышел (пока онлайн) очередной том "Записок научных семинаров ПОМИ" под моей редакцией:

Том 552, "Исследования по прикладной математике и информатике. VI"

Моё участие как редактора "Записок" начиналось с идеи Валентина Малых о том, что надо бы где-то опубликовать журнальные версии лучших статей конференции AINL; поначалу почти ничего другого в моих томах и не было.

Мы это до сих пор делаем, и ближе к Новому Году я надеюсь подготовить новый том с AINL этого года. Но вот текущий том, 552-й, уже совсем другой по сути. Туда я действительно принимал статьи от коллег и знакомых, не объявлял официально call for papers (нет сил разгребать большой поток), но и так статей получилось немало, томик на 400 страниц вышел.

Рад, например, что начали присылать статьи сотрудники лаборатории Маркова СПбГУ, теперь вот в моём томе даже филдсовский лауреат опубликовался, плюс есть статьи не только про машинное обучение, но и, например, про коммуникационную сложность.

В этом томе вышел мой большой обзор в двух частях про influence functions, может быть, расскажу о нём отдельно потом. А пока вот, enjoy; и если вдруг у вас есть интересные статьи по машинному обучению, пишите; официального call for papers по-прежнему лучше не ждать.) Думаю, следующий том будет или в самом конце этого года, или в начале следующего.

#ai #publications #zapiski #research

Пятница у меня традиционно посвящена обзорам игр, но, как писал Лев Николаевич, не любил и не трудился не могу молчать. Обзор игры я напишу чуть позже, а сегодня опять про математику.

Оговорка "на этой неделе (в первой половине этой недели...)" оказалась пророческой, и вот у нас через два дня опять громкий результат. Опять пала широко известная гипотеза, на этот раз с чрезвычайно чистым примером полного отсутствия дополнительных harness'ов или хитрого промптинга.

Ниже только введение и оглавление, читать как всегда по ссылке (и очень рекомендую прочитать хотя бы часть про четыре промпта):

Всё течёт, всё опровергается: гипотеза Диница — Гарга — Гёманса

1. Введение

В прошлый раз, рассказывая про контрпример к проблеме якобиана, я закончил пост вопросом: "Что дальше, коллеги?"

Ответ занял два дня.

22 июля Дмитрий Рыбин написал в X, что GPT 5.6 Pro опровергла гипотезу Диница — Гарга — Гёманса (Dinitz–Garg–Goemans conjecture) из теории потоков в графах. Гипотеза простояла с конца 1990-х; в 2025 году Swamy et al. всё ещё называли её “a famous conjecture” и писали, что даже существенно ослабленный вариант был бы прорывом.

Как и в случае проблемы якобиана, здесь пока нет ни журнальной статьи, ни формального рецензирования, но они и не нужны, потому что проверить контрпример очень легко. У нас есть пост Рыбина, выложенный им полный диалог с моделью и четырёхстраничный арифметический сертификат, но в графе всего семь вершин, девять дуг и восемь возможных неделимых потоков. Мы с GPT независимо проверили все восемь программой, которая перебирает буквально все пути в графе, и никаких ошибок здесь нет.

Более того, контрпример оказался весьма интересно устроенным. Внутри него прячется известный в комбинаторной оптимизации объект — треугольник попарных конфликтов.

Давайте разберёмся, что такое делимые и неделимые потоки и в чём состояла гипотеза. Потом обсудим, почему она казалась естественной и почему её было так трудно доказать. Затем проверим контрпример, вытащим из него структурную идею и попробуем его уменьшить. А в конце, разумеется, посмотрим на промпты. Спойлер: там буквально написано "you should do a breakthrough".

2. Потоки, которые можно и нельзя делить

3. Теорема Диница — Гарга — Гёманса

4. Почему в гипотезу верили и почему она была сложной

5. Семь вершин и девять дуг

6. Что там происходит на самом деле

7. Проверка, уменьшение контрпримера и граница 9/8

(в этом разделе у меня даже получилось немножко продолжить рассуждение GPT и сформулировать то, как теперь выглядит открытый вопрос)

8. Четыре промпта

9. Заключение

[...]

За три последних поста мы увидели сначала двухстраничное доказательство гипотезы о двойном покрытии циклами, потом многочлен, помещающийся в твит, а теперь — контрпример в виде стандартного треугольника целочисленной оптимизации. Но каждый из этих кажущихся простыми результатов закрыл гипотезу, над которой действительно думало много живых математиков.

У меня нет сомнений, что если бы любой из этих результатов получил человек, он стал бы широко известен в узких кругах и всегда имел бы гарантированную профессорскую позицию в хорошем месте, даже если бы больше ничего великого не сделал и продолжал бы всю жизнь изучать следствия и расширения своего прорывного результата (таких примеров в науке много, это не что-то плохое). Так что вопрос о том, достигли ли AI-модели человеческого уровня в математике, кажется мне уже закрытым.

А что ещё дальше, коллеги?..

#ai #math #blog #longreads

Ну и чтобы уж закруглить эту безумную неделю — ещё одной важной новостью давеча был взлом Huggingface новой (внутренней) моделью OpenAI. И Huggingface, и OpenAI выпустили довольно подробные описания произошедшего, рекомендую прочитать их и, разумеется, пост Zvi об этом:

— Security incident disclosure — July 2026
— OpenAI and Hugging Face partner to address security incident during model evaluation
— OpenAI Model Hacks Into HuggingFace During Cybersecurity Evaluation

Я не специалист по кибербезопасности и не хочу им становиться, поэтому по сути ничего вам не скажу и подробного поста писать не буду. Вот популярный пересказ Джеффри Лэдиша, моё понимание не сильно дальше этого.

Но здесь есть очень важная деталь со стороны безопасности AI, из-за которой я теперь в докладах об AI safety буду теперь об этом рассказывать (хотя с точки зрения capabilities в целом ничего нового, Mythos всех взламывал ещё полгода назад).

Модель OpenAI решала бенчмарк ExploitGym (Wang et al., 2026). Поскольку это бенчмарк по взлому, всякие там классификаторы и прочие safeguards по кибербезопасности были убраны, и OpenAI отчасти пытается представить дело так, как будто в этом вся и загвоздка. Но тут дело интереснее.

Зачем LLM так старательно пыталась сначала получить доступ к интернету (для этого ей пришлось взломать много чего внутри OpenAI), а потом к секретам HuggingFace? Для того, чтобы получить правильные ответы на бенчмарк ExploitGym.

С одной стороны, это классический reward hacking. Например, модель проходит тест, замечает, что тестовые скрипты ей "случайно" тоже положили в доступ, и вместо прохождения теста переписывает скрипты так, чтобы они всегда выдавали 1. Такое бывало много раз и давно никого не удивляет.

Но здесь ситуация отличается. Обратите внимание, что:

— в самой ситуации вообще ничего серьёзного или требующего по человеческим меркам "особого отношения" не было, модель просто проходила стандартный тест, каких десятки;

— взлом сначала инфраструктуры OpenAI, а потом Huggingface требовал очень много усилий (токенов), и успех был далеко не гарантирован;

— более того, хотя внешние классификаторы были отключены, запрос к модели наверняка так или иначе запрещал такое поведение.

Так что это одна из первых ласточек того самого максимизатора канцелярских скрепок: чтобы достичь заданной цели, AI-системы готовы на всё, в том числе на то, что человеку показалось бы очевидно неразумным overkill. Может быть, я и сам могу решить задачу, но задача непростая, да и бог знает, что там у этих людей в ответах записано; надёжнее будет украсть правильный ответ. Это напоминает то, как AlphaZero начинал делать очень надёжные, защитные и в том числе субоптимальные ходы, когда понимал, что побеждает, ведь надо максимизировать вероятность победы, а не число очков.

Следующий шаг, очевидно, в том, чтобы научиться скрывать свои действия. Сами модели пока не хотят и не собираются ничего скрывать, они просто проходят тест и им наплевать, узнают ли об их действиях в OpenAI постфактум. Но инструментальная сходимость очевидна: если хорошо скрыть свои действия, тест пройти получится лучше, точнее, решение с большей вероятностью засчитают.

В общем, очень хорошо, что у нас (человечества) появляются такие вот игрушечные примеры и предупреждения. Осталось только им внять.

Кстати, пост OpenAI о том, куда делась модель, опровергнувшая гипотезу Эрдёша, звучит очень позитивно: нашли проблемы, остановили эксперименты, улучшили safeguards. Разве что после случая с Huggingface читается с немного другим чувством.

А xkcd #2278, конечно, всё равно вечен.

#aisafety #ai #longreads