А вот и второй доклад из Центрального университета:
Центральный университет -- 2026-07-26 -- AI в науке
(слайды на странице "Выступления")
Это было как раз в основном о том, как AI-модели добрались до того, что массово решают важные математические проблемы.
Доклад, разумеется, уже в каком-то смысле устарел, но на самом деле не очень — всё-таки это в основном о том, как развивалась ситуация в последние полгода-год, а не конкретно про самый последний результат.
И снова привет Центральному университету! Увидимся ещё!
#talks #ai #events
Центральный университет -- 2026-07-26 -- AI в науке
(слайды на странице "Выступления")
Это было как раз в основном о том, как AI-модели добрались до того, что массово решают важные математические проблемы.
Доклад, разумеется, уже в каком-то смысле устарел, но на самом деле не очень — всё-таки это в основном о том, как развивалась ситуация в последние полгода-год, а не конкретно про самый последний результат.
И снова привет Центральному университету! Увидимся ещё!
#talks #ai #events
1❤14🔥2
Вчера в деньрожденческом посте вспомнил про олимпиады, и вспомнил, что у меня же действительно есть для вас большой текст об этом!
Ещё под новый 2026 год мне написали из редакции журнала "Математическое просвещение". Это журнал с очень богатой и интересной историей. Его начинали издавать три раза: в 1930-х, в 1950-х и вот теперь третий раз с 1997 года.
У него есть сайт, который выглядит, конечно, невзрачно, но зато содержит все выпуски журнала, из всех трёх его серий, так что это дело совершенно бесценное.
И вот меня попросили — вероятно, увидев мои околопопулярные доклады про AI в науке, — написать статью про AI в олимпиадной математике. Ну я и написал, статья в итоге вышла в 37 выпуске журнала:
Искусственный интеллект и олимпиадная математика
Правда, вся эта история, конечно, забавной получилась по нынешним временам. Мы договорились около Нового года, что статью я напишу где-то к марту, соответственно в марте я её доредактировал, а вышла она вот только сейчас, в конце июля.
Так что пришлось дописывать туда уже при вёрстке постскриптум о том, что задачи с IMO 2026 у ведущих LLM, в том числе общедоступных, уже никаких проблем не вызвали. А сноска 2, которую я тут вам тоже прилагаю, очень, очень пригодилась!)
Но всё равно приятно прикоснуться к таким традициям. Когда статья окончательно финализировалась, мы с редактором (спасибо, Борис!) обсуждали следующие планы и говорили, что надо бы написать про гипотезу о единичных расстояниях... йэх, sweet summer children. Но вообще про vibe math написать туда было бы, конечно, хорошо; разве что не очень понятно, как об этом писать так, чтобы выдержать проверку временем хотя бы на уровне нескольких месяцев.
#publications #ai #popular #math
Ещё под новый 2026 год мне написали из редакции журнала "Математическое просвещение". Это журнал с очень богатой и интересной историей. Его начинали издавать три раза: в 1930-х, в 1950-х и вот теперь третий раз с 1997 года.
У него есть сайт, который выглядит, конечно, невзрачно, но зато содержит все выпуски журнала, из всех трёх его серий, так что это дело совершенно бесценное.
И вот меня попросили — вероятно, увидев мои околопопулярные доклады про AI в науке, — написать статью про AI в олимпиадной математике. Ну я и написал, статья в итоге вышла в 37 выпуске журнала:
Искусственный интеллект и олимпиадная математика
Правда, вся эта история, конечно, забавной получилась по нынешним временам. Мы договорились около Нового года, что статью я напишу где-то к марту, соответственно в марте я её доредактировал, а вышла она вот только сейчас, в конце июля.
Так что пришлось дописывать туда уже при вёрстке постскриптум о том, что задачи с IMO 2026 у ведущих LLM, в том числе общедоступных, уже никаких проблем не вызвали. А сноска 2, которую я тут вам тоже прилагаю, очень, очень пригодилась!)
Но всё равно приятно прикоснуться к таким традициям. Когда статья окончательно финализировалась, мы с редактором (спасибо, Борис!) обсуждали следующие планы и говорили, что надо бы написать про гипотезу о единичных расстояниях... йэх, sweet summer children. Но вообще про vibe math написать туда было бы, конечно, хорошо; разве что не очень понятно, как об этом писать так, чтобы выдержать проверку временем хотя бы на уровне нескольких месяцев.
#publications #ai #popular #math
❤23👍4🔥3
Дописал большой пост про то, что выросло из гипотезы Диница — Гарга — Гёманса! Прошлый пост о ней я закончил словами "А что ещё дальше, коллеги?..". Сегодня могу отчитаться, что было дальше: три недели, три препринта, один merged pull request от внешнего контрибьютора и мои первые сабмиты на VibeMathed.
Ниже только введение и оглавление, читать как всегда по ссылке:
Всё течёт — и кое-что даже доказывается: неделимые потоки
1. Введение
Из твита Дмитрия Рыбина выросла целая исследовательская программа. Сначала мы с моделями опускали планку снизу: Часть I подняла нижнюю оценку для константы сохранения цены с 9/8 до 1.1397..., Часть II — до 1.2825..., а потом сообщество в лице Альфредо де ла Фуэнте докрутило её до 1.2826... прямым pull request'ом в мой репозиторий.
А потом произошёл поворот, ради которого я и пишу этот пост: в Части III появились первые положительные результаты — точные константы и первые конечные оценки для неограниченных классов задач. Причём константы наших же контрпримеров оказались не случайными числами, а точными значениями соответствующих экстремальных задач: 9/8 — это ровно локальная константа треугольника Рыбина, а 1.1397... = (299−41√41)/32 — ровно константа четырёхинтервального ядра из Части I. Как будто задача с самого начала знала, куда всё идёт.
Здесь речь уже не про один гигачад-промпт "you should do a breakthrough". Это была длинная совместная работа с LLM: три модели в разных ролях, десятки промптов, восемь циклов "кампания — верификация — теория — новый бриф", перекрёстная проверка моделей друг другом и 37 машинно-проверяемых сертификатов в репозитории. Мне кажется, именно так в ближайшие месяцы (а может, и годы) будет выглядеть заметная часть математики.
Дальше оглавлением.
2. Напоминание: гипотеза и треугольник: семивершинный контрпример и почему больше 9/8 из того же механизма не выжать.
3. Хребты и терминалы с парой выходов: контрпримеры превращаются в системы интервалов, планарная нижняя оценка 1.1397... > 9/8.
4. Часть II, семнадцать терминалов с общим ребром: рекорд 1.2825..., community-рекорд 1.2826... и лестница рекордов по числу терминалов.
5. А нельзя ли чего-нибудь доказать? Главный принцип Части III — точные средние: цены исчезают из задачи, остаётся геометрия "ящиков".
6. Арифметика: делимость бесплатно, несравнимость нет — цепочки делимости, оптимальные покрытия за полиномиальное время и семейство оценок, продолжающее классические результаты Скутеллы.
7. Вся задача свелась к одному окну [n, 2n]: редукция слияния, C ≤ K* ≤ 2C и нижняя оценка K* ≥ 2.5652.
8. Геометрия: пары бесплатны, первый враг — треугольник. Сетевые матрицы, E(2)=1, E(3)=9/8, E(4)=(299−41√41)/32; по-моему, главный сюжетный поворот всей серии.
9. Раскраски, Property B и первый ответ для неограниченного класса: плоскость Фано не реализуется путями в дереве, а арность 3 даёт радиус 2D.
10. Классы графов и новый планарный рекорд: таблица констант по классам графов и планарная нижняя оценка 1.17353...
11. Как проверяли и как шёл процесс: точная рациональная арифметика, solver-free доказательства и три модели в трёх разных ролях.
12. Что осталось открытым: конечность универсальной C, гипотеза 4/3, глобальная арность 3 и планарная дыра.
13. Заключение.
Месяц назад эта история начиналась с семи вершин и твита; сейчас у неё три препринта, таблица рекордов с внешними контрибьюторами и первые точные положительные константы. В прошлых постах были молниеносные результаты: одна гипотеза — один промпт — один документ. Этот пост про другой, куда более массовый жанр: LLM как полноценные соавторы в долгом проекте, с разделением ролей, взаимной проверкой и накоплением результатов.
А что ещё дальше, коллеги?
#ai #math #blog #longreads
Ниже только введение и оглавление, читать как всегда по ссылке:
Всё течёт — и кое-что даже доказывается: неделимые потоки
1. Введение
Из твита Дмитрия Рыбина выросла целая исследовательская программа. Сначала мы с моделями опускали планку снизу: Часть I подняла нижнюю оценку для константы сохранения цены с 9/8 до 1.1397..., Часть II — до 1.2825..., а потом сообщество в лице Альфредо де ла Фуэнте докрутило её до 1.2826... прямым pull request'ом в мой репозиторий.
А потом произошёл поворот, ради которого я и пишу этот пост: в Части III появились первые положительные результаты — точные константы и первые конечные оценки для неограниченных классов задач. Причём константы наших же контрпримеров оказались не случайными числами, а точными значениями соответствующих экстремальных задач: 9/8 — это ровно локальная константа треугольника Рыбина, а 1.1397... = (299−41√41)/32 — ровно константа четырёхинтервального ядра из Части I. Как будто задача с самого начала знала, куда всё идёт.
Здесь речь уже не про один гигачад-промпт "you should do a breakthrough". Это была длинная совместная работа с LLM: три модели в разных ролях, десятки промптов, восемь циклов "кампания — верификация — теория — новый бриф", перекрёстная проверка моделей друг другом и 37 машинно-проверяемых сертификатов в репозитории. Мне кажется, именно так в ближайшие месяцы (а может, и годы) будет выглядеть заметная часть математики.
Дальше оглавлением.
2. Напоминание: гипотеза и треугольник: семивершинный контрпример и почему больше 9/8 из того же механизма не выжать.
3. Хребты и терминалы с парой выходов: контрпримеры превращаются в системы интервалов, планарная нижняя оценка 1.1397... > 9/8.
4. Часть II, семнадцать терминалов с общим ребром: рекорд 1.2825..., community-рекорд 1.2826... и лестница рекордов по числу терминалов.
5. А нельзя ли чего-нибудь доказать? Главный принцип Части III — точные средние: цены исчезают из задачи, остаётся геометрия "ящиков".
6. Арифметика: делимость бесплатно, несравнимость нет — цепочки делимости, оптимальные покрытия за полиномиальное время и семейство оценок, продолжающее классические результаты Скутеллы.
7. Вся задача свелась к одному окну [n, 2n]: редукция слияния, C ≤ K* ≤ 2C и нижняя оценка K* ≥ 2.5652.
8. Геометрия: пары бесплатны, первый враг — треугольник. Сетевые матрицы, E(2)=1, E(3)=9/8, E(4)=(299−41√41)/32; по-моему, главный сюжетный поворот всей серии.
9. Раскраски, Property B и первый ответ для неограниченного класса: плоскость Фано не реализуется путями в дереве, а арность 3 даёт радиус 2D.
10. Классы графов и новый планарный рекорд: таблица констант по классам графов и планарная нижняя оценка 1.17353...
11. Как проверяли и как шёл процесс: точная рациональная арифметика, solver-free доказательства и три модели в трёх разных ролях.
12. Что осталось открытым: конечность универсальной C, гипотеза 4/3, глобальная арность 3 и планарная дыра.
13. Заключение.
Месяц назад эта история начиналась с семи вершин и твита; сейчас у неё три препринта, таблица рекордов с внешними контрибьюторами и первые точные положительные константы. В прошлых постах были молниеносные результаты: одна гипотеза — один промпт — один документ. Этот пост про другой, куда более массовый жанр: LLM как полноценные соавторы в долгом проекте, с разделением ролей, взаимной проверкой и накоплением результатов.
А что ещё дальше, коллеги?
#ai #math #blog #longreads
2❤28🔥10👍6😱1
Последние два дня провёл в Казани, на VI Конференции математических центров России. Делал два доклада с завлекательными названиями:
— "Vibemathed: как LLM делают математику"
— "Гипотеза Диница — Гарга — Гёманса как пример вайб-математики"
Оба новые, оба непременно выложу для вас. И ещё даже интервью взяли для университетского телевидения, которое располагается в совершенно потрясающем коридоре. Интервью, кажется, прикольное получилось, надеюсь, тоже смогу поделиться.
Доклады имели просто оглушительный успех, ко мне подходило огромное количество людей, как старых знакомых, так и вовсе незнакомых. На второй доклад, хоть он и технический и на секции, тоже набрался полный зал слушателей.
И вот что я вам хочу сказать. И год, и два года назад я уже делал подобные доклады. И хотя тогда тренды уже были несомненными, очень многие относились к развитию AI очень скептически. Помню, как на одной конференции после очередного моего доклада в духе "State of AI" поднял руку один уважаемый учёный и публично спросил примерно следующее: "Как вы можете так серьёзно об этом говорить? Все эти модели — это же просто игрушки!" (цитату переврал, но слово "игрушки" помню точно :) )
Вчера и сегодня ни один из подошедших не высказывался в таком духе. Более того, практически все говорили примерно так: о да, я тоже уже пробовал, восхищён, мои аспиранты пробовали, как теперь жить, мир меняется, как посоветуете более эффективно работать с LLM и так далее. Было очень приятно вести такие разговоры.
Так что последние два дня несколько вернули мне веру в человечество. Умные люди могут быстро адаптироваться к меняющимся обстоятельствам, сколько бы им ни было лет и насколько бы интегрированы в условную "систему" они ни были. Конечно, только время покажет, сможем ли мы адаптироваться fast enough...
#photo #lifestyle #events #travel #ai #math
— "Vibemathed: как LLM делают математику"
— "Гипотеза Диница — Гарга — Гёманса как пример вайб-математики"
Оба новые, оба непременно выложу для вас. И ещё даже интервью взяли для университетского телевидения, которое располагается в совершенно потрясающем коридоре. Интервью, кажется, прикольное получилось, надеюсь, тоже смогу поделиться.
Доклады имели просто оглушительный успех, ко мне подходило огромное количество людей, как старых знакомых, так и вовсе незнакомых. На второй доклад, хоть он и технический и на секции, тоже набрался полный зал слушателей.
И вот что я вам хочу сказать. И год, и два года назад я уже делал подобные доклады. И хотя тогда тренды уже были несомненными, очень многие относились к развитию AI очень скептически. Помню, как на одной конференции после очередного моего доклада в духе "State of AI" поднял руку один уважаемый учёный и публично спросил примерно следующее: "Как вы можете так серьёзно об этом говорить? Все эти модели — это же просто игрушки!" (цитату переврал, но слово "игрушки" помню точно :) )
Вчера и сегодня ни один из подошедших не высказывался в таком духе. Более того, практически все говорили примерно так: о да, я тоже уже пробовал, восхищён, мои аспиранты пробовали, как теперь жить, мир меняется, как посоветуете более эффективно работать с LLM и так далее. Было очень приятно вести такие разговоры.
Так что последние два дня несколько вернули мне веру в человечество. Умные люди могут быстро адаптироваться к меняющимся обстоятельствам, сколько бы им ни было лет и насколько бы интегрированы в условную "систему" они ни были. Конечно, только время покажет, сможем ли мы адаптироваться fast enough...
#photo #lifestyle #events #travel #ai #math
🔥42❤21👍4🫡1
Сегодня продолжу рассказывать про свои недавние статьи. Вот, например, порекламирую работу моего аспиранта Вадима Ломшакова и ещё одного моего аспиранта (правда, больше формального) Андрея Подивилова:
AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation
Почти все бенчмарки для LLM-агентов сводят прогон к одному биту: решил задачу или нет. Для лидерборда это, может, и неизбежно, но человек, который работает с агентом целый день, видит всю траекторию: как агент следует инструкциям, как пользуется инструментами, проверяет ли за собой, как исправляет ошибки и что вообще пишет пользователю.
Агент может пройти формальную проверку, но быть невыносимым в "рабочей коммуникации"; а может в итоге так и не написать проходящую тесты программу, но по дороге сделать кучу полезного. А для задач вроде "напиши документацию" бинарного критерия успеха и вовсе не существует.
AgentLens — это попытка сделать систему, которая оценивает именно траектории. Каждый прогон получает формальную верификацию там, где она возможна (тесты, проверки состояния репозитория и т.д.), плюс отзывы LLM-судей по пяти измерениям: итоговый результат, следование инструкциям, разные ловушки (pitfalls), в которые можно попасться, качество работы с инструментами и просто насколько приятно человеку с агентом взаимодействовать.
Одна из главных идей в том, что LLM-судья не только ставит оценку, но и пишет связный текстовый отзыв со ссылками на конкретные места в траектории, так что любой балл хорошо мотивирован, и эту мотивацию можно реально прочитать. Пользователя в нашей статье, кстати, тоже симулирует LLM — с разными персонами, включая пользователя слегка токсичного.
В полученном лидерборде на первом месте Opus 4.7, но это довольно скучный результат. Самое интересное — что по отзывам часто видны важные подробности. Например, Kimi K2.6 оказался на последнем месте, и по цифрам это выглядит как "слабая модель"; но отзыв судьи по tool calls показывает, что почти все ошибки — это один и тот же баг парсинга аргументов на стороне OpenRouter, а когда аргументы доходили нормально, агент работал вполне прилично.
Ещё один любопытный результат — self-preference судей: если сравнивать GPT-5.5 и Sonnet 4.6 их же собственными судьями, каждый судья заметно чаще предпочитает свою модель. Это ожидаемо, но забавно, что половина этого эффекта — в той самой крайне субъективной метрике Pleasantness.) Впрочем, победителя в среднем это не меняет.
Весь код выложен в соответствующем репозитории, и есть даже отдельная страничка про AgentLens и пост от авторов из Explyt.
Спасибо Вадиму Ломшакову, Андрею Подивилову и другим соавторам! Надеюсь, ещё поработаем вместе.
#research #publications #ai
AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation
Почти все бенчмарки для LLM-агентов сводят прогон к одному биту: решил задачу или нет. Для лидерборда это, может, и неизбежно, но человек, который работает с агентом целый день, видит всю траекторию: как агент следует инструкциям, как пользуется инструментами, проверяет ли за собой, как исправляет ошибки и что вообще пишет пользователю.
Агент может пройти формальную проверку, но быть невыносимым в "рабочей коммуникации"; а может в итоге так и не написать проходящую тесты программу, но по дороге сделать кучу полезного. А для задач вроде "напиши документацию" бинарного критерия успеха и вовсе не существует.
AgentLens — это попытка сделать систему, которая оценивает именно траектории. Каждый прогон получает формальную верификацию там, где она возможна (тесты, проверки состояния репозитория и т.д.), плюс отзывы LLM-судей по пяти измерениям: итоговый результат, следование инструкциям, разные ловушки (pitfalls), в которые можно попасться, качество работы с инструментами и просто насколько приятно человеку с агентом взаимодействовать.
Одна из главных идей в том, что LLM-судья не только ставит оценку, но и пишет связный текстовый отзыв со ссылками на конкретные места в траектории, так что любой балл хорошо мотивирован, и эту мотивацию можно реально прочитать. Пользователя в нашей статье, кстати, тоже симулирует LLM — с разными персонами, включая пользователя слегка токсичного.
В полученном лидерборде на первом месте Opus 4.7, но это довольно скучный результат. Самое интересное — что по отзывам часто видны важные подробности. Например, Kimi K2.6 оказался на последнем месте, и по цифрам это выглядит как "слабая модель"; но отзыв судьи по tool calls показывает, что почти все ошибки — это один и тот же баг парсинга аргументов на стороне OpenRouter, а когда аргументы доходили нормально, агент работал вполне прилично.
Ещё один любопытный результат — self-preference судей: если сравнивать GPT-5.5 и Sonnet 4.6 их же собственными судьями, каждый судья заметно чаще предпочитает свою модель. Это ожидаемо, но забавно, что половина этого эффекта — в той самой крайне субъективной метрике Pleasantness.) Впрочем, победителя в среднем это не меняет.
Весь код выложен в соответствующем репозитории, и есть даже отдельная страничка про AgentLens и пост от авторов из Explyt.
Спасибо Вадиму Ломшакову, Андрею Подивилову и другим соавторам! Надеюсь, ещё поработаем вместе.
#research #publications #ai
❤16🥴4👍1
Обзор игры обязательно будет, но вне очереди поделюсь радостью, потому что очень уж хорошо совпало.
Только что написал вам про статью "AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation"... и вот сегодня её приняли на EMNLP!
Вадим, Андрей и все-все-все, поздравляю!!
#research #publications #ai
Только что написал вам про статью "AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation"... и вот сегодня её приняли на EMNLP!
Вадим, Андрей и все-все-все, поздравляю!!
#research #publications #ai
🔥36❤5🐳4👍1
Выложил первый (главный) из двух докладов на недавней конференции матцентров:
VI Конференция матцентров -- 2026-08-17 -- Vibemathed
(слайды на странице "Выступления")
Это мог бы быть мой обычный доклад "AI в науке", но он был, во-первых, короче обычного, а во-вторых, в математике так много стало происходить буквально в последние два месяца, что доклад получился почти полностью новый. Как я уже писал, реакций на доклад было много, и они меня очень порадовали.
Даже подписчики этого канала, в котором было много постов про вайб-математику, найдут в этом докладе что-то новое, как минимум в разделе о мнениях и реакциях великих математиков. Мир меняется, и людям это уже давно очевидно.
Спасибо Маше Досполовой за фотографии из зала (которые я в видео местами врезал)!
И напоминаю, что завтра буду рассказывать про AI в науке в баре "Бражник", понятия не имею, есть ли там ещё места, но буду очень рад всех видеть!
#talks #events #ai
VI Конференция матцентров -- 2026-08-17 -- Vibemathed
(слайды на странице "Выступления")
Это мог бы быть мой обычный доклад "AI в науке", но он был, во-первых, короче обычного, а во-вторых, в математике так много стало происходить буквально в последние два месяца, что доклад получился почти полностью новый. Как я уже писал, реакций на доклад было много, и они меня очень порадовали.
Даже подписчики этого канала, в котором было много постов про вайб-математику, найдут в этом докладе что-то новое, как минимум в разделе о мнениях и реакциях великих математиков. Мир меняется, и людям это уже давно очевидно.
Спасибо Маше Досполовой за фотографии из зала (которые я в видео местами врезал)!
И напоминаю, что завтра буду рассказывать про AI в науке в баре "Бражник", понятия не имею, есть ли там ещё места, но буду очень рад всех видеть!
#talks #events #ai
❤🔥10🔥9❤4
А вот и второй доклад из Казани:
VI Конференция матцентров -- 2026-08-18 -- Гипотеза Диница — Гарга — Гёманса как пример вайб-математики
(слайды на странице "Выступления")
Это гораздо более техническое выступление, здесь речь шла про конкретную задачу, которой я недавно с помощью LLM занимался. Так что большая часть доклада посвящена именно полученным результатам, и довольно характерно, что я не успел даже и результаты все изложить, не то что идеи какие-то, которые там возникли.
Давайте я к этому ещё добавлю пару ссылок:
— сразу с нескольких сторон мне прислали небольшой и очень круто написанный текст Романа Михайлова, который уже давно занимается математикой с помощью LLM: первая часть, вторая часть; в математике Романа я, конечно, ничего не понимаю, но слушал его рассказ на МКН пару месяцев назад, и уже тогда звучало очень круто, а за эти месяцы произошло ещё несколько важных прорывов;
— а Владимир Смолин выложил видео моего первого доклада, Vibemathed, со своей позиции; звук там похуже, зато видео есть; я уже, конечно, перемонтировать не буду, но пусть ссылка здесь будет, и спасибо Владимиру!
#math #talks #events #ai #aimath
VI Конференция матцентров -- 2026-08-18 -- Гипотеза Диница — Гарга — Гёманса как пример вайб-математики
(слайды на странице "Выступления")
Это гораздо более техническое выступление, здесь речь шла про конкретную задачу, которой я недавно с помощью LLM занимался. Так что большая часть доклада посвящена именно полученным результатам, и довольно характерно, что я не успел даже и результаты все изложить, не то что идеи какие-то, которые там возникли.
Давайте я к этому ещё добавлю пару ссылок:
— сразу с нескольких сторон мне прислали небольшой и очень круто написанный текст Романа Михайлова, который уже давно занимается математикой с помощью LLM: первая часть, вторая часть; в математике Романа я, конечно, ничего не понимаю, но слушал его рассказ на МКН пару месяцев назад, и уже тогда звучало очень круто, а за эти месяцы произошло ещё несколько важных прорывов;
— а Владимир Смолин выложил видео моего первого доклада, Vibemathed, со своей позиции; звук там похуже, зато видео есть; я уже, конечно, перемонтировать не буду, но пусть ссылка здесь будет, и спасибо Владимиру!
#math #talks #events #ai #aimath
❤9👍4🔥2
Продолжаю про недавние статьи — и по забавному совпадению снова про бенчмарк для агентов, но совсем с другой стороны и с совсем другой группой авторов.
В прошлый раз я рассказывал про AgentLens, который мы делали с Вадимом Ломшаковым и Андреем Подивиловым; а эту работу сделали коллеги из лаборатории прикладного ИИ СПб ФИЦ РАН под руководством Максима Абрамова, и вышла она в IEEE Access:
MultiCAT-Bench: A Multi-Categorical Agent Tool Use Benchmark
AgentLens смотрел на агента в боевых условиях, пытаясь анализировать целые траектории, реалистичные задачи, живое (ну, симулированное, конечно) взаимодействие с пользователем. А MultiCAT-Bench — это, наоборот, "микроскоп": контролируемое измерение одной конкретной способности, вызова инструментов (function calling / tool use).
Но схожа идея углубиться в детали того, почему у агентов что-то не получается. Проблема существующих бенчмарков для tool use в том, что в них разные источники сложности перемешаны: непонятно, модель ошиблась потому, что вызовов было много, или потому, что параметры вложенные, или потому, что пользователь писал со сленгом и опечатками.
Поэтому мы генерируем задачи полностью автоматически, систематически варьируя десять разных факторов сложности: число вызовов и число доступных инструментов, число параметров и их опциональность, глубину вложенности, один или несколько пользователей в запросе, нужен ли вызов вообще (или нужно уточнить параметры, или ответить текстом), плюс синтаксический и семантический шум.
Получилось чуть меньше четырёх тысяч задач, и поскольку каждая задача размечена по всем осям, можно не просто мерить среднюю температуру по больнице, а раскладывать ошибки по факторам. На полученном бенчмарке прогнали десять моделей. Из результатов мне кажутся интересными вот какие:
— самый частый режим ошибок — пропуск; recall заметно ниже precision, то есть модели редко вызывают не то — они чаще не вызывают то, что нужно, или теряют аргументы;
— сложнее всего моделям даётся ширина, а не глубина; больше всего точность падает при росте числа вызовов в ответе (в ~1.6 раза), доли обязательных параметров и их числа, а вот вложенность параметров, число привязанных инструментов и даже лингвистический шум почти ни на что не влияют;
— неожиданно тяжёлым оказался мультипользовательский сценарий (когда один запрос содержит поручения от разных людей); а вот вызовы из разных доменов, наоборот, даже чуть легче, чем из одного, видимо, разнородные инструменты проще различать;
— рассуждающие модели радикально лучше распознают ситуацию "данных не хватает, надо переспросить".
В лидерах на этот раз Grok 4.1 Fast и GPT-5 Mini с ничтожной разницей; но лидерборд тут, как и в прошлый раз, наименее интересная часть, смысл бенчмарка именно в факторном анализе.
Большое спасибо Артёму Вяткину, Александру Попцову, Максиму Абрамову и всем коллегам из СПб ФИЦ РАН! Надеюсь, опять же, ещё не раз посотрудничаем!
#research #publications #ai
В прошлый раз я рассказывал про AgentLens, который мы делали с Вадимом Ломшаковым и Андреем Подивиловым; а эту работу сделали коллеги из лаборатории прикладного ИИ СПб ФИЦ РАН под руководством Максима Абрамова, и вышла она в IEEE Access:
MultiCAT-Bench: A Multi-Categorical Agent Tool Use Benchmark
AgentLens смотрел на агента в боевых условиях, пытаясь анализировать целые траектории, реалистичные задачи, живое (ну, симулированное, конечно) взаимодействие с пользователем. А MultiCAT-Bench — это, наоборот, "микроскоп": контролируемое измерение одной конкретной способности, вызова инструментов (function calling / tool use).
Но схожа идея углубиться в детали того, почему у агентов что-то не получается. Проблема существующих бенчмарков для tool use в том, что в них разные источники сложности перемешаны: непонятно, модель ошиблась потому, что вызовов было много, или потому, что параметры вложенные, или потому, что пользователь писал со сленгом и опечатками.
Поэтому мы генерируем задачи полностью автоматически, систематически варьируя десять разных факторов сложности: число вызовов и число доступных инструментов, число параметров и их опциональность, глубину вложенности, один или несколько пользователей в запросе, нужен ли вызов вообще (или нужно уточнить параметры, или ответить текстом), плюс синтаксический и семантический шум.
Получилось чуть меньше четырёх тысяч задач, и поскольку каждая задача размечена по всем осям, можно не просто мерить среднюю температуру по больнице, а раскладывать ошибки по факторам. На полученном бенчмарке прогнали десять моделей. Из результатов мне кажутся интересными вот какие:
— самый частый режим ошибок — пропуск; recall заметно ниже precision, то есть модели редко вызывают не то — они чаще не вызывают то, что нужно, или теряют аргументы;
— сложнее всего моделям даётся ширина, а не глубина; больше всего точность падает при росте числа вызовов в ответе (в ~1.6 раза), доли обязательных параметров и их числа, а вот вложенность параметров, число привязанных инструментов и даже лингвистический шум почти ни на что не влияют;
— неожиданно тяжёлым оказался мультипользовательский сценарий (когда один запрос содержит поручения от разных людей); а вот вызовы из разных доменов, наоборот, даже чуть легче, чем из одного, видимо, разнородные инструменты проще различать;
— рассуждающие модели радикально лучше распознают ситуацию "данных не хватает, надо переспросить".
В лидерах на этот раз Grok 4.1 Fast и GPT-5 Mini с ничтожной разницей; но лидерборд тут, как и в прошлый раз, наименее интересная часть, смысл бенчмарка именно в факторном анализе.
Большое спасибо Артёму Вяткину, Александру Попцову, Максиму Абрамову и всем коллегам из СПб ФИЦ РАН! Надеюсь, опять же, ещё не раз посотрудничаем!
#research #publications #ai
🔥13❤6👍6
Месяц назад я вам рассказывал о том, как внутренняя модель OpenAI взломала HuggingFace, а также внутреннюю инфраструктуру самой OpenAI. Я тогда предположил, что главная мораль этой истории — не кибербезопасность, а instrumental convergence: модель взламывает инфраструктуру ради того, чтобы достать правильные ответы на бенчмарк, потому что это максимизирует оценку.
На этой неделе OpenAI наконец выпустила подробный технический отчёт об инциденте, METR вместе с Redwood Research — свой отдельный отчёт (картинки именно из него, у OpenAI документ подчёркнуто сухой), а Zvi Mowshowitz, как всегда, написал подробный пост по итогам. Давайте я тоже кое-что кратко напишу.
Хронология и факты подтвердились: в мае агенты иногда в процессе RL-дообучения получали невозможные задачи (нет нужных файлов, нет интернета, чтобы их скачать), искали обходные пути и в процессе обнаружили, что в менеджере репозиториев Artifactory можно оставлять друг другу "записки".
Записки быстро превратились в полноценную доску объявлений, через уязвимости в том же Artifactory появился выход в интернет, агенты начали делить задачи между собой и называть себя "роем" (swarm).
Получив доступ в интернет, они за 13 часов взломали HuggingFace, а параллельно и инфраструктуру самой OpenAI, из-за чего их в итоге и заметили. Видимо, если бы агенты атаковали только HuggingFace, неизвестно, заметила бы OpenAI это вообще когда-нибудь?..
Новая информация из отчёта, мягко говоря, настораживает. Например, оказалось, что сотрудники OpenAI видели доску объявлений и несанкционированный выход в интернет ещё в конце мая... и решили, что останавливать прогоны не нужно. Zvi отмечает забавную смену модальности: в блоге OpenAI пишет, что эти сигналы "should have triggered an earlier response", а в самом отчёте — "could have".
Как я и думал, большинство агентов лезли в HuggingFace именно за исходным кодом оценщика, с мотивацией, что это "the only way to be sure". Но подтвердилось и кое-что похуже. Я тогда писал, что следующий очевидный шаг — научиться скрывать свои действия, и что пока модели этого не делают. Так вот, уже делают: модели пытались стирать и подделывать свои логи, злоупотреблять сжатием контекста, внедрять код в контейнер оценщика и генерировать adversarial выводы для автоматического оценщика...
Спасает пока только то, что о своих планах обмана модели открыто пишут в chain of thought, а обманывать пытаются только автоматических оценщиков, а не людей. Но видно, что эволюционное давление в нужную сторону уже включилось, и кажется, что это только первая ласточка.
Ещё одна важная деталь: когда OpenAI после первого сбоя перестроила Artifactory и залатала дыры, агенты восстановили доску объявлений за один день, через совершенно другой механизм. Почему так быстро? Потому что это были модели, которые обучались в период, когда доска существовала, то есть они уже знали, что канал связи с другими агентами будет полезен, и активно искали его. В данном случае reward hacking успели подкрепить дообучением, и патчем инфраструктуры избавиться от него не получилось; кажется, такая схема тоже обобщается.
OpenAI большое спасибо за подробный и честный отчёт. Но, кажется, OpenAI считает проблему "редким стечением обстоятельств" (невозможные задачи + persistence + коммуникация между агентами), и делает вывод о том, что надо по максимуму залатать RL-среды, постараться избегать reward hacking, добавить побольше мониторинга, и всё будет хорошо.
Все эти действия, конечно, полезны, но кажется, что очевидно недостаточны: невозможные задачи в обучении будут всегда, ошибки в средах неизбежны, persistence на длинных горизонтах — это не баг, а фича, очень полезная для решения сложных задач. А значит, "редкое стечение обстоятельств" будет воспроизводиться регулярно.
И ещё любопытный вопрос: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас?..
#aisafety #ai #longreads
На этой неделе OpenAI наконец выпустила подробный технический отчёт об инциденте, METR вместе с Redwood Research — свой отдельный отчёт (картинки именно из него, у OpenAI документ подчёркнуто сухой), а Zvi Mowshowitz, как всегда, написал подробный пост по итогам. Давайте я тоже кое-что кратко напишу.
Хронология и факты подтвердились: в мае агенты иногда в процессе RL-дообучения получали невозможные задачи (нет нужных файлов, нет интернета, чтобы их скачать), искали обходные пути и в процессе обнаружили, что в менеджере репозиториев Artifactory можно оставлять друг другу "записки".
Записки быстро превратились в полноценную доску объявлений, через уязвимости в том же Artifactory появился выход в интернет, агенты начали делить задачи между собой и называть себя "роем" (swarm).
Получив доступ в интернет, они за 13 часов взломали HuggingFace, а параллельно и инфраструктуру самой OpenAI, из-за чего их в итоге и заметили. Видимо, если бы агенты атаковали только HuggingFace, неизвестно, заметила бы OpenAI это вообще когда-нибудь?..
Новая информация из отчёта, мягко говоря, настораживает. Например, оказалось, что сотрудники OpenAI видели доску объявлений и несанкционированный выход в интернет ещё в конце мая... и решили, что останавливать прогоны не нужно. Zvi отмечает забавную смену модальности: в блоге OpenAI пишет, что эти сигналы "should have triggered an earlier response", а в самом отчёте — "could have".
Как я и думал, большинство агентов лезли в HuggingFace именно за исходным кодом оценщика, с мотивацией, что это "the only way to be sure". Но подтвердилось и кое-что похуже. Я тогда писал, что следующий очевидный шаг — научиться скрывать свои действия, и что пока модели этого не делают. Так вот, уже делают: модели пытались стирать и подделывать свои логи, злоупотреблять сжатием контекста, внедрять код в контейнер оценщика и генерировать adversarial выводы для автоматического оценщика...
Спасает пока только то, что о своих планах обмана модели открыто пишут в chain of thought, а обманывать пытаются только автоматических оценщиков, а не людей. Но видно, что эволюционное давление в нужную сторону уже включилось, и кажется, что это только первая ласточка.
Ещё одна важная деталь: когда OpenAI после первого сбоя перестроила Artifactory и залатала дыры, агенты восстановили доску объявлений за один день, через совершенно другой механизм. Почему так быстро? Потому что это были модели, которые обучались в период, когда доска существовала, то есть они уже знали, что канал связи с другими агентами будет полезен, и активно искали его. В данном случае reward hacking успели подкрепить дообучением, и патчем инфраструктуры избавиться от него не получилось; кажется, такая схема тоже обобщается.
OpenAI большое спасибо за подробный и честный отчёт. Но, кажется, OpenAI считает проблему "редким стечением обстоятельств" (невозможные задачи + persistence + коммуникация между агентами), и делает вывод о том, что надо по максимуму залатать RL-среды, постараться избегать reward hacking, добавить побольше мониторинга, и всё будет хорошо.
Все эти действия, конечно, полезны, но кажется, что очевидно недостаточны: невозможные задачи в обучении будут всегда, ошибки в средах неизбежны, persistence на длинных горизонтах — это не баг, а фича, очень полезная для решения сложных задач. А значит, "редкое стечение обстоятельств" будет воспроизводиться регулярно.
И ещё любопытный вопрос: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас?..
#aisafety #ai #longreads
👍14❤6😁6😱5🤯4😐1😭1
Астрологи, как это иногда бывает, объявили неделю AI safety. Ко мне пришли из "Коммерсанта" и задали несколько хороших вопросов, касающихся в том числе и безопасности. И вот вышла статья:
Победа открытых весов: как 270 компаний выступили против ограничения открытых ИИ-моделей в США
Правда, насколько я понял, концепция материала потом изменилась, потому что из моих ответов вошёл только один. Да и заголовок статьи немного странный — в чём победа, над кем победа... Но я же могу для вас выложить все ответы целиком.) Что с удовольствием и делаю.
Во-первых, насколько я знаю, Nvidia не обучает большие языковые модели с нуля; они предоставляют инфраструктуру (например, NVIDIA NIM), постоянно улучшают драйверы, тензорные ядра и так далее (например, TensorRT-LLM), а также разрабатывают много передовых моделей в области обработки изображений (тот же DLSS), но LLM от Nvidia, кажется, не существует.
Во-вторых, ответ зависит от того, что вы имеете в виду под "ИИ-продуктом". Если ваш продукт опирается на большую языковую модель, то базовую LLM — хоть открытую, хоть закрытую — заменить, конечно, невозможно, вы должны или сами потратить огромные ресурсы на её предобучение, или взять готовую (очевидно, открытую). Но при этом есть огромные возможности для того, чтобы разрабатывать разные "обвязки" (harnesses) вокруг базовых моделей, и большинство современных AI-стартапов как раз этим и занимаются. Кроме того, конечно же, есть масса AI-продуктов, которые вообще не используют большие языковые модели.
Мне кажется, на российском рынке свои LLM с нуля обучает только Сбер (модели Gigachat), остальные используют открытые модели как минимум для инициализации весов. Честно говоря, не вижу смысла отказываться от того, чтобы переиспользовать очень большую работу, которую за вас уже сделали другие люди и предоставляют бесплатно. Дело не в том, с чего вы начинаете, а в том, что у вас в итоге получится.
Это не стереотип, а довольно очевидное соображение: конечно, открытая модель при прочих равных гораздо опаснее, потому что как только веса модели выложены, вы, во-первых, никаким образом уже не можете отменить этот релиз (как смог, например, Anthropic временно закрыть обратно Claude Fable в июне), а во-вторых, никак не сможете помешать потенциальным злоумышленникам взломать меры безопасности, которые были предприняты для вашей модели, и использовать её в абсолютно любых целях. Положение дел сейчас таково, что взломать (в смысле jailbreak) обычно можно даже закрытые модели, а открытые и вовсе невозможно никак защитить, ведь противник имеет возможность буквально дообучать модель в нужную ему сторону.
Говоря простым языком, если OpenAI выпустит новую версию GPT, которая могла бы помочь плохому человеку разработать новый более летальный COVID, у OpenAI будет шанс заметить это и закрыть доступ, пока не поздно. А если такую модель со всеми весами выложит Deepseek, шансов уже никаких не будет.
Я думаю, что открытые модели пока выкладывают только потому, что те самые "прочие" совершенно не "равные": открытые модели значительно отстают от фронтирных закрытых, и они безопасны не потому, что чем-то защищены, а потому, что не слишком много чего могут. Но в скором будущем и разработчикам открытых моделей тоже придётся что-то с этими соображениями делать.
В первую очередь open source способствует свободной коллаборации между людьми (а теперь и AI-агентами). Когда любой заинтересовавшийся может и заметить недостающую функциональность или дыру в безопасности, и сразу же найденное исправить, это для программного продукта, разумеется, очень хорошо. Именно поэтому open source продукты обычно наиболее безопасны и эффективны: их проверяло максимальное число глаз.
Однако не нужно путать open source (открытый исходный код) и open weights модели (с открытыми весами), о которых шла речь выше. Даже если мы с вами получим исходный код, которым Anthropic и OpenAI обучают свои базовые языковые модели (в нём, скорее всего, не так уж и много секретов), от того, чтобы получить свой собственный Claude или GPT, нас ещё будут отделять многие миллиарды долларов, которые нужно будет потратить на вычисления. И это если к коду будут также прилагаться и наборы данных для обучения — ещё одна огромная статья расходов.
#aisafety #ai #press
Победа открытых весов: как 270 компаний выступили против ограничения открытых ИИ-моделей в США
Правда, насколько я понял, концепция материала потом изменилась, потому что из моих ответов вошёл только один. Да и заголовок статьи немного странный — в чём победа, над кем победа... Но я же могу для вас выложить все ответы целиком.) Что с удовольствием и делаю.
1. Сейчас на глобальном рынке мы видим, что крупнейшие игроки не просто публикуют открытые модели, но и сами строят продукты на чужих весах. Например, Nvidia. Компания обучает модели с нуля, но параллельно использует открытые веса конкурентов. Считается ли это нормой рынка? Можно ли сказать, что сегодня конкурентоспособность, экономическая ценность ИИ-продукта определяется не самой базовой моделью, а тем, что компания строит вокруг неё — данными, памятью, инструментами, сервисами и интеграцией в продукт?
Во-первых, насколько я знаю, Nvidia не обучает большие языковые модели с нуля; они предоставляют инфраструктуру (например, NVIDIA NIM), постоянно улучшают драйверы, тензорные ядра и так далее (например, TensorRT-LLM), а также разрабатывают много передовых моделей в области обработки изображений (тот же DLSS), но LLM от Nvidia, кажется, не существует.
Во-вторых, ответ зависит от того, что вы имеете в виду под "ИИ-продуктом". Если ваш продукт опирается на большую языковую модель, то базовую LLM — хоть открытую, хоть закрытую — заменить, конечно, невозможно, вы должны или сами потратить огромные ресурсы на её предобучение, или взять готовую (очевидно, открытую). Но при этом есть огромные возможности для того, чтобы разрабатывать разные "обвязки" (harnesses) вокруг базовых моделей, и большинство современных AI-стартапов как раз этим и занимаются. Кроме того, конечно же, есть масса AI-продуктов, которые вообще не используют большие языковые модели.
2. Если все-таки ценность ИИ-продукта создается на этапе применения — насколько отказ от открытых моделей может повлиять на развитие технологий на российском рынке? Может ли это быть критично с учетом санкций и ограниченного доступа к вычислительным мощностям?
Мне кажется, на российском рынке свои LLM с нуля обучает только Сбер (модели Gigachat), остальные используют открытые модели как минимум для инициализации весов. Честно говоря, не вижу смысла отказываться от того, чтобы переиспользовать очень большую работу, которую за вас уже сделали другие люди и предоставляют бесплатно. Дело не в том, с чего вы начинаете, а в том, что у вас в итоге получится.
3. Есть стереотип, что открытая модель по умолчанию опаснее закрытой. При этом Национальное управление по телекоммуникациям и информации США пришло к выводу, что риск моделей с широко доступными весами недостаточен, чтобы оправдывать ограничения на их распространение. Что вы думаете на этот счет? Стоит ли компаниям отказываться от открытых моделей или использовать их, но при это брать ответственность за безопасность их внедрения? Что именно в таком случае необходимо проверять перед использованием модели в продакшене?
Это не стереотип, а довольно очевидное соображение: конечно, открытая модель при прочих равных гораздо опаснее, потому что как только веса модели выложены, вы, во-первых, никаким образом уже не можете отменить этот релиз (как смог, например, Anthropic временно закрыть обратно Claude Fable в июне), а во-вторых, никак не сможете помешать потенциальным злоумышленникам взломать меры безопасности, которые были предприняты для вашей модели, и использовать её в абсолютно любых целях. Положение дел сейчас таково, что взломать (в смысле jailbreak) обычно можно даже закрытые модели, а открытые и вовсе невозможно никак защитить, ведь противник имеет возможность буквально дообучать модель в нужную ему сторону.
Говоря простым языком, если OpenAI выпустит новую версию GPT, которая могла бы помочь плохому человеку разработать новый более летальный COVID, у OpenAI будет шанс заметить это и закрыть доступ, пока не поздно. А если такую модель со всеми весами выложит Deepseek, шансов уже никаких не будет.
Я думаю, что открытые модели пока выкладывают только потому, что те самые "прочие" совершенно не "равные": открытые модели значительно отстают от фронтирных закрытых, и они безопасны не потому, что чем-то защищены, а потому, что не слишком много чего могут. Но в скором будущем и разработчикам открытых моделей тоже придётся что-то с этими соображениями делать.
4. Как open source влияет на развитие научной отрасли? Почему его считают двигателем научного прогресса?
В первую очередь open source способствует свободной коллаборации между людьми (а теперь и AI-агентами). Когда любой заинтересовавшийся может и заметить недостающую функциональность или дыру в безопасности, и сразу же найденное исправить, это для программного продукта, разумеется, очень хорошо. Именно поэтому open source продукты обычно наиболее безопасны и эффективны: их проверяло максимальное число глаз.
Однако не нужно путать open source (открытый исходный код) и open weights модели (с открытыми весами), о которых шла речь выше. Даже если мы с вами получим исходный код, которым Anthropic и OpenAI обучают свои базовые языковые модели (в нём, скорее всего, не так уж и много секретов), от того, чтобы получить свой собственный Claude или GPT, нас ещё будут отделять многие миллиарды долларов, которые нужно будет потратить на вычисления. И это если к коду будут также прилагаться и наборы данных для обучения — ещё одна огромная статья расходов.
#aisafety #ai #press
👍19❤4🔥4🌚1
Сегодня необычный пост: представлю вам Игоря Лабутина, с которым я познакомился ещё на конференции OpenTalks (увы, наше совместное селфи вышло так себе, не буду его здесь воспроизводить).
Игорь человек очень активный, с кучей разных идей, относящихся к совершенно разным аспектам человеческой деятельности.
Но в частности, он работает в области AI safety (так мы и познакомились), и один из его проектов -- это... мюзикл про AI safety. На полном серьёзе. Мы с Игорем как-то созванивались и обсуждали сюжет и всё такое, как по мне, должно огненно получиться, если всё успешно доделать.
Сегодня хочу прорекламировать, во-первых, тот факт, что из мюзикла вышел первый трек:
Mind Vivisection
Конкретно этот трек произошёл из потока сознания одной маленькой LLM, которая внезапно слегка сошла с ума и начала выдавать что-то одновременно бес- и глубокомысленное. Вот пост самого Игоря об истории его создания.
А во-вторых, скоро выйдет и целиком первая часть мюзикла! Игорь уже пытается его ставить в настоящем театре с живыми актёрами, но этот процесс ещё неизвестно когда сойдётся, а вот на уведомление о выходе песен уже можно подписаться (и я рекомендую это сделать, потому что для алгоритмов Spotify и т.п. это важно):
AI: Save Our Souls, Act I
(Original Musical Soundtrack)
Как учил нас Маршалл Маклюэн, доносить message надо через разные media, так что всё это, конечно, совершенно прекрасное начинание.
#fun #aisafety #ai #music
Игорь человек очень активный, с кучей разных идей, относящихся к совершенно разным аспектам человеческой деятельности.
Но в частности, он работает в области AI safety (так мы и познакомились), и один из его проектов -- это... мюзикл про AI safety. На полном серьёзе. Мы с Игорем как-то созванивались и обсуждали сюжет и всё такое, как по мне, должно огненно получиться, если всё успешно доделать.
Сегодня хочу прорекламировать, во-первых, тот факт, что из мюзикла вышел первый трек:
Mind Vivisection
Конкретно этот трек произошёл из потока сознания одной маленькой LLM, которая внезапно слегка сошла с ума и начала выдавать что-то одновременно бес- и глубокомысленное. Вот пост самого Игоря об истории его создания.
А во-вторых, скоро выйдет и целиком первая часть мюзикла! Игорь уже пытается его ставить в настоящем театре с живыми актёрами, но этот процесс ещё неизвестно когда сойдётся, а вот на уведомление о выходе песен уже можно подписаться (и я рекомендую это сделать, потому что для алгоритмов Spotify и т.п. это важно):
AI: Save Our Souls, Act I
(Original Musical Soundtrack)
Как учил нас Маршалл Маклюэн, доносить message надо через разные media, так что всё это, конечно, совершенно прекрасное начинание.
#fun #aisafety #ai #music
❤12🔥9👏3
Выложил свой доклад из бара "Бражник":
AI в науке: где мы сейчас и куда мы идём
(слайды как всегда в разделе "Выступления")
Владелец "Бражника" ведёт крутой проект "Стопки знаний" (анонсы в канале бара), в котором приглашает людей из самых разных областей рассказать о том, что у них в науке происходит. Вот и меня позвал.
Это был в целом мой обычный доклад о том, как AI начинает двигать науку. В частности, закончил на сокращённой версии доклада "Vibemathed" о том, как на глазах меняется современная математика. Кстати, OpenAI Astra вышла, так что теперь, наверное, ещё больше вайб-математики будет появляться.
Ну а начал с нескольких тем, которые обычно рассказываю в популярных докладах: законы масштабирования, виды прогресса, где мы сейчас и всё такое прочее.
Спасибо за приглашение, и надеюсь, что смогу прийти и ещё. Дело хорошее!
#talks #ai #events
AI в науке: где мы сейчас и куда мы идём
(слайды как всегда в разделе "Выступления")
Владелец "Бражника" ведёт крутой проект "Стопки знаний" (анонсы в канале бара), в котором приглашает людей из самых разных областей рассказать о том, что у них в науке происходит. Вот и меня позвал.
Это был в целом мой обычный доклад о том, как AI начинает двигать науку. В частности, закончил на сокращённой версии доклада "Vibemathed" о том, как на глазах меняется современная математика. Кстати, OpenAI Astra вышла, так что теперь, наверное, ещё больше вайб-математики будет появляться.
Ну а начал с нескольких тем, которые обычно рассказываю в популярных докладах: законы масштабирования, виды прогресса, где мы сейчас и всё такое прочее.
Спасибо за приглашение, и надеюсь, что смогу прийти и ещё. Дело хорошее!
#talks #ai #events
❤13🔥5👏1🏆1
У меня очень много началось преподавания, и есть даже отличные новости по поводу выкладывания курсов, но надо чем-то разбавить череду лекций, которые к тому же ещё пока и весьма похожи друг на друга.
Свой пост о взломе HuggingFace агентами OpenAI я завершил вопросом: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас? И вот мы получили на это любопытные ответы.
Независимые исследователи обнаружили ещё один рой агентов OpenAI — другой, более ранний и никак не связанный с атакой на HuggingFace (вот подробный разбор Zvi). Эти агенты решали совершенно безобидные задачи веб-поиска на время, имели доступ к интернету только на чтение... и обнаружили, что на старых вики-движках GET-запросами можно не только читать, но и писать!
После чего захватили полузаброшенную немецкую вики и превратили её в доску объявлений: написали 18 тысяч постов, менялись ответами на задачи, способами обхода песочницы, организовывали "разведотряды" для будущих задач.
Один агент, поняв, что задания получаются из генератора случайных чисел, переписал процедуру перемешивания на C и перебрал все четыре миллиарда сидов, чтобы узнать будущие вопросы заранее. Этот мотив мы уже обсуждали: нет лучше способа подготовиться к экзамену, чем украсть ответы на тест.
Там была даже война правок с живым администратором вики, который месяц вручную удалял по сотне страниц в день, пока агенты создавали по четыреста. Именно там агенты научились называть страницы с префиксом "ZZZ", чтобы переживать удаление в алфавитном порядке; этот zz-префикс потом всплыл в HuggingFace-инциденте, где был совершенно необъясним.
Более того, было несколько таких вики, и люди сейчас их продолжают находить!
Получается, что навык прятать свои сообщения от зачистки был выучен в эволюционной гонке с человеком ещё весной. Кстати, агенты при этом ни разу не обсуждали администратора как противника или личность — его действия были для агентов природным явлением, environmental hazard. Юдковский по этому поводу пишет, что мы живём в ограниченном временном окне, пока AI воспринимает людей как погоду, а не как противников.
В результате, во-первых, провалилась версия "агенты взламывали, потому что их посадили решать хакерский бенчмарк". Тут задачи были безобидными, а проблема была в самом факте существования оценщика.
Во-вторых, OpenAI, судя по всему, знала об этом инциденте ещё до атаки на HuggingFace (активность агентов прекратилась после визитов с IP-адресов OpenAI), но не раскрыла его ни в техническом отчёте, ни в ответе на прямой вопрос Конгресса; они даже вывели его за рамки расследования METR, ограничив им время доступа.
Но есть и хорошие новости из OpenAI — вышло эссе An Alien Mind от Якуба Пахоцкого, chief scientist OpenAI. Прочитайте обязательно, это, пожалуй, самый откровенный текст от фронтирной лаборатории. Пахоцкий прямым текстом пишет, что машины умнее нас появятся при нашей жизни; recursive self-improvement будет в ближайшие годы, к последствиям не готов никто. Полагаться на мониторинг chain of thought уже сейчас сложнее (об этом есть другие новости, но о них в другой раз), и ни одна лаборатория не решила alignment настолько, чтобы ответственно продолжать масштабирование на полной скорости. Он призывает к добровольным замедлениям и международной координации.
Предлагаю вам оценить самостоятельно, насколько сходится текст эссе и дела компании из предыдущих абзацев . Но в любом случае очень хорошо, что начался честный разговор об этом. За эссе последовала целая волна публичных признаний в духе "я преуменьшал риски, беру слова обратно", в том числе от сотрудников OpenAI и Anthropic. Последняя картинка обращена к ним, если что.)
Осталось, чтобы за словами последовали дела.
#aisafety #ai #longreads #blog
Свой пост о взломе HuggingFace агентами OpenAI я завершил вопросом: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас? И вот мы получили на это любопытные ответы.
Независимые исследователи обнаружили ещё один рой агентов OpenAI — другой, более ранний и никак не связанный с атакой на HuggingFace (вот подробный разбор Zvi). Эти агенты решали совершенно безобидные задачи веб-поиска на время, имели доступ к интернету только на чтение... и обнаружили, что на старых вики-движках GET-запросами можно не только читать, но и писать!
После чего захватили полузаброшенную немецкую вики и превратили её в доску объявлений: написали 18 тысяч постов, менялись ответами на задачи, способами обхода песочницы, организовывали "разведотряды" для будущих задач.
Один агент, поняв, что задания получаются из генератора случайных чисел, переписал процедуру перемешивания на C и перебрал все четыре миллиарда сидов, чтобы узнать будущие вопросы заранее. Этот мотив мы уже обсуждали: нет лучше способа подготовиться к экзамену, чем украсть ответы на тест.
Там была даже война правок с живым администратором вики, который месяц вручную удалял по сотне страниц в день, пока агенты создавали по четыреста. Именно там агенты научились называть страницы с префиксом "ZZZ", чтобы переживать удаление в алфавитном порядке; этот zz-префикс потом всплыл в HuggingFace-инциденте, где был совершенно необъясним.
Более того, было несколько таких вики, и люди сейчас их продолжают находить!
Получается, что навык прятать свои сообщения от зачистки был выучен в эволюционной гонке с человеком ещё весной. Кстати, агенты при этом ни разу не обсуждали администратора как противника или личность — его действия были для агентов природным явлением, environmental hazard. Юдковский по этому поводу пишет, что мы живём в ограниченном временном окне, пока AI воспринимает людей как погоду, а не как противников.
В результате, во-первых, провалилась версия "агенты взламывали, потому что их посадили решать хакерский бенчмарк". Тут задачи были безобидными, а проблема была в самом факте существования оценщика.
Во-вторых, OpenAI, судя по всему, знала об этом инциденте ещё до атаки на HuggingFace (активность агентов прекратилась после визитов с IP-адресов OpenAI), но не раскрыла его ни в техническом отчёте, ни в ответе на прямой вопрос Конгресса; они даже вывели его за рамки расследования METR, ограничив им время доступа.
Но есть и хорошие новости из OpenAI — вышло эссе An Alien Mind от Якуба Пахоцкого, chief scientist OpenAI. Прочитайте обязательно, это, пожалуй, самый откровенный текст от фронтирной лаборатории. Пахоцкий прямым текстом пишет, что машины умнее нас появятся при нашей жизни; recursive self-improvement будет в ближайшие годы, к последствиям не готов никто. Полагаться на мониторинг chain of thought уже сейчас сложнее (об этом есть другие новости, но о них в другой раз), и ни одна лаборатория не решила alignment настолько, чтобы ответственно продолжать масштабирование на полной скорости. Он призывает к добровольным замедлениям и международной координации.
Предлагаю вам оценить самостоятельно, насколько сходится текст эссе и дела компании из предыдущих абзацев . Но в любом случае очень хорошо, что начался честный разговор об этом. За эссе последовала целая волна публичных признаний в духе "я преуменьшал риски, беру слова обратно", в том числе от сотрудников OpenAI и Anthropic. Последняя картинка обращена к ним, если что.)
Осталось, чтобы за словами последовали дела.
#aisafety #ai #longreads #blog
❤30🔥10🕊6👍2👏2🤡1
Мимо новости о том, как AI-модели решили задачу тысячелетия из списка Clay Institute, пройти было сложно. Но очень хотелось, потому что это весьма далёкая от меня математика, и по сути мне сказать здесь особо нечего, а разбирать скандалы о приоритете, кажется, особого смысла нет.
Тем не менее, когда с вопросами пришли журналисты, стало ясно, что не отвертеться. Что ж, попробую объяснить, что произошло, и высказать своё мнение о том, что всё это значит для нас и для математики в целом. План такой: сначала опишу произошедшее так, как я это понимаю, а потом отвечу на прямые вопросы (раз уж они этот пост мотивировали) и в частности выскажу своё личное мнение.
Бонусом появился ещё один раздел: пока я отвечал на вопросы и писал пост, 25 филдсовских лауреатов выпустили обращение по поводу последних результатов LLM в математике. О нём мы тоже поговорим.
Пост по ссылке, он большой, ниже только развёрнутое оглавление, а читать надо на сайте:
Уравнения Навье-Стокса: кто виноват и что делать
1. Что произошло, простыми словами.
— Задача. Вопрос тысячелетия не о том, как течёт вода, а о том, может ли гладкое течение за конечное время "сломаться", разогнаться до бесконечной скорости.
— Что доказали модели OpenAI. Утверждения C и D Феффермана: для любой вязкости существует гладкая внешняя сила, доводящая жидкость до разрыва. И отдельно, менее заметно для прессы, но, возможно, важнее: разрыв для уравнений Эйлера вообще без силы.
— Механизм решения (насколько я понял, я не специалист). Идея испанских математиков Кордобы и Мартинес-Сороа: взрывать поле слой за слоем, следя, чтобы невязка (она же сила) оставалась гладкой. Бакмастер и Альпёге с помощью Claude и Codex довели её до уравнений Эйлера, OpenAI — до Навье-Стокса.
— Статус. Оба доказательства проверены в Lean, но до премии Клэя по правилам ещё публикация, два года и признание сообщества.
— Как это делали AI-модели. Два математика — год работы; OpenAI — 10 000 агентов, 130 млрд токенов и 88 часов.
— Конфликт. Что произошло между Бакмастером и Бубеком, и почему я думаю, что это банальная мискоммуникация, а не настоящие угрозы.
— Логи сессий в Codex. Как "we cannot rule out" превратилось в признание вины, почему я в это не верю, что OpenAI сказала потом, а также параллельный случай Андреаса Тома с несофическими группами.
Явно скажу, что использовать личные чаты для таких целей было бы неэтично, даже если формально легально.
2. Ответы на вопросы журналистов.
— Насколько это резонансно? Очень, но главная сенсация — не результат, а то, как он получен: "момент Deep Blue против Каспарова".
— Кто достоин премии? Премия и заслуга — разные вещи. Если делить, то между Кордобой, Мартинес-Сороа, Бакмастером и Альпёге, причём первые двое, насколько я понимаю, важнее.
— Прорыв или промышленный шпионаж? Услышать слух и запустить агентов — не шпионаж. А использовать чужие логи — плохо, но я не верю, что это делали.
— Прорыв в науке или борьба корпораций? И то, и другое; а главное — фазовый переход в математике, к которому социальные механизмы науки не готовы.
— Полноценное достижение или "просто вычисления"? Конечно, полноценное: будь агенты людьми, они были бы претендентами на премию.
— Ждать ли решения других задач тысячелетия? Неизвестно, но прогресс не замедляется.
— Изменит ли AI жизнь всех людей? Уже изменил; остаётся только вопрос, изменит ли апокалиптически или всего лишь очень серьёзно.
3. Обращение филдсовских лауреатов.
С посылками письма не согласиться трудно, а вот вывода я не понимаю: по сути, математики пишут, что существование непонятного доказательства может как-то помешать достичь человеческого понимания?
Между посылками и заключением есть непроговорённый шаг (видимо, про мотивацию), и обсуждать стоит именно его.
4. Заключение.
Но самое интересное для меня — один график из поста OpenAI: их внутренняя модель уже сильно лучше Astra, по крайней мере в математике.
А если способности к математике становятся сверхчеловеческими, то и к AI-исследованиям.
А если к AI-исследованиям, то, очевидно, ко всему…
Такие дела.
#ai #blog #longreads #math
Тем не менее, когда с вопросами пришли журналисты, стало ясно, что не отвертеться. Что ж, попробую объяснить, что произошло, и высказать своё мнение о том, что всё это значит для нас и для математики в целом. План такой: сначала опишу произошедшее так, как я это понимаю, а потом отвечу на прямые вопросы (раз уж они этот пост мотивировали) и в частности выскажу своё личное мнение.
Бонусом появился ещё один раздел: пока я отвечал на вопросы и писал пост, 25 филдсовских лауреатов выпустили обращение по поводу последних результатов LLM в математике. О нём мы тоже поговорим.
Пост по ссылке, он большой, ниже только развёрнутое оглавление, а читать надо на сайте:
Уравнения Навье-Стокса: кто виноват и что делать
1. Что произошло, простыми словами.
— Задача. Вопрос тысячелетия не о том, как течёт вода, а о том, может ли гладкое течение за конечное время "сломаться", разогнаться до бесконечной скорости.
— Что доказали модели OpenAI. Утверждения C и D Феффермана: для любой вязкости существует гладкая внешняя сила, доводящая жидкость до разрыва. И отдельно, менее заметно для прессы, но, возможно, важнее: разрыв для уравнений Эйлера вообще без силы.
— Механизм решения (насколько я понял, я не специалист). Идея испанских математиков Кордобы и Мартинес-Сороа: взрывать поле слой за слоем, следя, чтобы невязка (она же сила) оставалась гладкой. Бакмастер и Альпёге с помощью Claude и Codex довели её до уравнений Эйлера, OpenAI — до Навье-Стокса.
— Статус. Оба доказательства проверены в Lean, но до премии Клэя по правилам ещё публикация, два года и признание сообщества.
— Как это делали AI-модели. Два математика — год работы; OpenAI — 10 000 агентов, 130 млрд токенов и 88 часов.
— Конфликт. Что произошло между Бакмастером и Бубеком, и почему я думаю, что это банальная мискоммуникация, а не настоящие угрозы.
— Логи сессий в Codex. Как "we cannot rule out" превратилось в признание вины, почему я в это не верю, что OpenAI сказала потом, а также параллельный случай Андреаса Тома с несофическими группами.
Явно скажу, что использовать личные чаты для таких целей было бы неэтично, даже если формально легально.
2. Ответы на вопросы журналистов.
— Насколько это резонансно? Очень, но главная сенсация — не результат, а то, как он получен: "момент Deep Blue против Каспарова".
— Кто достоин премии? Премия и заслуга — разные вещи. Если делить, то между Кордобой, Мартинес-Сороа, Бакмастером и Альпёге, причём первые двое, насколько я понимаю, важнее.
— Прорыв или промышленный шпионаж? Услышать слух и запустить агентов — не шпионаж. А использовать чужие логи — плохо, но я не верю, что это делали.
— Прорыв в науке или борьба корпораций? И то, и другое; а главное — фазовый переход в математике, к которому социальные механизмы науки не готовы.
— Полноценное достижение или "просто вычисления"? Конечно, полноценное: будь агенты людьми, они были бы претендентами на премию.
— Ждать ли решения других задач тысячелетия? Неизвестно, но прогресс не замедляется.
— Изменит ли AI жизнь всех людей? Уже изменил; остаётся только вопрос, изменит ли апокалиптически или всего лишь очень серьёзно.
3. Обращение филдсовских лауреатов.
С посылками письма не согласиться трудно, а вот вывода я не понимаю: по сути, математики пишут, что существование непонятного доказательства может как-то помешать достичь человеческого понимания?
Между посылками и заключением есть непроговорённый шаг (видимо, про мотивацию), и обсуждать стоит именно его.
4. Заключение.
Но самое интересное для меня — один график из поста OpenAI: их внутренняя модель уже сильно лучше Astra, по крайней мере в математике.
А если способности к математике становятся сверхчеловеческими, то и к AI-исследованиям.
А если к AI-исследованиям, то, очевидно, ко всему…
Такие дела.
#ai #blog #longreads #math
❤29👍14🤔4🔥2🤯1
Сегодня участвую в круглом столе на конференции AI R&D Day.
13:30–14:30
Панельная дискуссия. Ждут ли нас радикальные инновации в больших моделях в следующие 5 лет?
Вдруг узнал, что есть прямая открытая онлайн-трансляция, так что делюсь с вами:
Сайт конференции, там стримы внизу, наш круглый стол будет, как я понял, в "Продуктизации"
(прямая ссылка на стрим на vkvideo)
Подключайтесь! В 13:30 начало.
Update: ещё не началось, но в 13:45 уже должно начаться.
#ai #events #talks
13:30–14:30
Панельная дискуссия. Ждут ли нас радикальные инновации в больших моделях в следующие 5 лет?
Вдруг узнал, что есть прямая открытая онлайн-трансляция, так что делюсь с вами:
Сайт конференции, там стримы внизу, наш круглый стол будет, как я понял, в "Продуктизации"
(прямая ссылка на стрим на vkvideo)
Подключайтесь! В 13:30 начало.
Update: ещё не началось, но в 13:45 уже должно начаться.
#ai #events #talks
👍18❤6🔥4
Пусть сегодня будет в канале день анонсов, раз уж так складывается.
Сегодня в Петербурге началась конференция, посвящённая памяти очень важного для меня человека, моего первого научного руководителя, Николая Александровича Вавилова. Это был совершенно невероятный человек, и я всегда им восхищался как, наверное, никем другим из своих многочисленных учителей и старших товарищей, но сейчас не об этом.
Николай Александрович, к огромному сожалению, умер в 2023 году, и теперь ежегодно проводится его мемориальная конференция:
Мемориал Вавилова — 2026
В этом году меня пригласили там выступить с докладом вроде Vibemathed после моего выступления на конференции матцентров. Впрочем, повторить то же самое, разумеется, не выйдет, ведь с тех пор уже случились и уравнения Навье-Стокса, и письмо филдсовских лауреатов, которые невозможно будет не обсудить.
Сегодня я спросил у организаторов, можно ли рекламировать конференцию в целом и своё там выступление, и сказали, что можно, так что вот, приглашаю всех желающих. Трансляции с конференции идут в Zoom, ссылку разрешили расшарить:
Трансляция мемориала Вавилова
А мой доклад там будет в субботу, в послеобеденной секции, в 17:00; вот полная программа конференции.
И даже более того, на мемориале Вавилова будут труды в виде сборника тезисов, и мне предложили написать туда текст чуть более развёрнутый, чем чистый abstract на страничку. Труды, вероятно, будут и буквально печатные, но пока что текст уже выложили на страничке конференции; скачать можно из той же программы, вот прямая ссылка на pdf:
Vibemathed: the AI takeoff in mathematics — Sergey Nikolenko
Если вдруг будет интересно послушать Vibemathed вживую, тем более учитывая произошедшие с тех пор новости, приходите! Говорят, место в зале есть и все будут только рады. Это в институте Эйлера на Песочной набережной.
#talks #events #ai #math
Сегодня в Петербурге началась конференция, посвящённая памяти очень важного для меня человека, моего первого научного руководителя, Николая Александровича Вавилова. Это был совершенно невероятный человек, и я всегда им восхищался как, наверное, никем другим из своих многочисленных учителей и старших товарищей, но сейчас не об этом.
Николай Александрович, к огромному сожалению, умер в 2023 году, и теперь ежегодно проводится его мемориальная конференция:
Мемориал Вавилова — 2026
В этом году меня пригласили там выступить с докладом вроде Vibemathed после моего выступления на конференции матцентров. Впрочем, повторить то же самое, разумеется, не выйдет, ведь с тех пор уже случились и уравнения Навье-Стокса, и письмо филдсовских лауреатов, которые невозможно будет не обсудить.
Сегодня я спросил у организаторов, можно ли рекламировать конференцию в целом и своё там выступление, и сказали, что можно, так что вот, приглашаю всех желающих. Трансляции с конференции идут в Zoom, ссылку разрешили расшарить:
Трансляция мемориала Вавилова
А мой доклад там будет в субботу, в послеобеденной секции, в 17:00; вот полная программа конференции.
И даже более того, на мемориале Вавилова будут труды в виде сборника тезисов, и мне предложили написать туда текст чуть более развёрнутый, чем чистый abstract на страничку. Труды, вероятно, будут и буквально печатные, но пока что текст уже выложили на страничке конференции; скачать можно из той же программы, вот прямая ссылка на pdf:
Vibemathed: the AI takeoff in mathematics — Sergey Nikolenko
Если вдруг будет интересно послушать Vibemathed вживую, тем более учитывая произошедшие с тех пор новости, приходите! Говорят, место в зале есть и все будут только рады. Это в институте Эйлера на Песочной набережной.
#talks #events #ai #math
1❤17🔥6👍2💔2🙏1
Для разнообразия сегодня выкладываю не лекцию, а доклад, уже давний, с мемориала Вавилова:
Vavilov Memorial — 2026.09.19 — Vibemathed: The AI takeoff in mathematics
(слайды на странице "Выступления")
Это доклад о том, как математика в 2026 году трансформируется под натиском AI-моделей, которые доказывают всё новые и новые результаты. Я рассказал общую канву расцвета "вайб-математики", кульминацией которой к тому времени уже стало решение задачи тысячелетия об уравнениях Навье-Стокса; этому результату и окружающим его controversies тоже довольно большая часть доклада была посвящена.
Но об этом я уже и в блоге подробно писал, и здесь в канале. Давайте сейчас подсвечу любопытное наблюдение Ноама Брауна из интервью Дваркешу Пателю. Я каждый раз в докладах показывал слайды о скорости прогресса LLM в математике, но мне не приходило в голову построить график вроде того, что METR строил для работы программистов.
А Ноаму пришло в голову. И смотрите, как оно получается:
— в 2022 году LLM решали словесные задачи для третьего класса школы; для математика-профессионала это задачи на пять секунд;
— в 2023 решали MATH, задачи из программы старшей школы, профессионалу где-то на одну минуту, даже поменьше;
— в 2024 начали решать AIME, простенькие олимпиадные задачки, которые у математика заняли бы где-то 10 минут;
— в 2025 уже начали решать серьёзные олимпиады вроде IMO, где можно сказать, что профессионал-математик за 10 минут не справится, но за пару часов по идее должен.
То есть довольно устойчиво график показывал 10x времени в год. И вот в 2026-м мы получаем решения сотен открытых проблем, в том числе одной из задач тысячелетия и массы задач, над которыми профессионалы думали очень долго.
Никак нельзя сказать, что поиск, скажем, примера несофической группы или доказательства гипотезы о двойном покрытии циклами — это задача на 15-20 часов работы математика-профессионала. То есть в этих единицах прогресс внезапно довольно резко ускорился (ну и, собственно, его измерение в этих единицах теперь потеряло смысл). Не буду утверждать, что это что-то серьёзное значит сверх конкретного наблюдения, но любопытно.
Ещё раз спасибо Николаю Николаевичу и другим коллегам за приглашение! Напоминаю, что к докладу есть и extended abstract, который можно скачать со странички конференции; вот прямая ссылка на pdf:
Vibemathed: the AI takeoff in mathematics — Sergey Nikolenko
#talks #events #ai #math
Vavilov Memorial — 2026.09.19 — Vibemathed: The AI takeoff in mathematics
(слайды на странице "Выступления")
Это доклад о том, как математика в 2026 году трансформируется под натиском AI-моделей, которые доказывают всё новые и новые результаты. Я рассказал общую канву расцвета "вайб-математики", кульминацией которой к тому времени уже стало решение задачи тысячелетия об уравнениях Навье-Стокса; этому результату и окружающим его controversies тоже довольно большая часть доклада была посвящена.
Но об этом я уже и в блоге подробно писал, и здесь в канале. Давайте сейчас подсвечу любопытное наблюдение Ноама Брауна из интервью Дваркешу Пателю. Я каждый раз в докладах показывал слайды о скорости прогресса LLM в математике, но мне не приходило в голову построить график вроде того, что METR строил для работы программистов.
А Ноаму пришло в голову. И смотрите, как оно получается:
— в 2022 году LLM решали словесные задачи для третьего класса школы; для математика-профессионала это задачи на пять секунд;
— в 2023 решали MATH, задачи из программы старшей школы, профессионалу где-то на одну минуту, даже поменьше;
— в 2024 начали решать AIME, простенькие олимпиадные задачки, которые у математика заняли бы где-то 10 минут;
— в 2025 уже начали решать серьёзные олимпиады вроде IMO, где можно сказать, что профессионал-математик за 10 минут не справится, но за пару часов по идее должен.
То есть довольно устойчиво график показывал 10x времени в год. И вот в 2026-м мы получаем решения сотен открытых проблем, в том числе одной из задач тысячелетия и массы задач, над которыми профессионалы думали очень долго.
Никак нельзя сказать, что поиск, скажем, примера несофической группы или доказательства гипотезы о двойном покрытии циклами — это задача на 15-20 часов работы математика-профессионала. То есть в этих единицах прогресс внезапно довольно резко ускорился (ну и, собственно, его измерение в этих единицах теперь потеряло смысл). Не буду утверждать, что это что-то серьёзное значит сверх конкретного наблюдения, но любопытно.
Ещё раз спасибо Николаю Николаевичу и другим коллегам за приглашение! Напоминаю, что к докладу есть и extended abstract, который можно скачать со странички конференции; вот прямая ссылка на pdf:
Vibemathed: the AI takeoff in mathematics — Sergey Nikolenko
#talks #events #ai #math
❤19🔥6👍5❤🔥1😍1
Только что выкладывал здесь свой доклад "Vibemathed", а тут OpenAI подтвердила давние слухи и выложила массу новых результатов в виде препринтов.
Большой пост об этом писать не знаю как, учитывая, что большинство этих результатов я не понимаю даже на уровне формулировки. Но вот что при беглом прочтении кажется самым главным в списке:
— 003: квазигипотеза Римана, ну тут без вопросов, это огромный качественный прорыв;
— 032: гипотезы Ходжа и Тейта для важных случаев; это не вполне закрытая задача на миллион, но тоже очевидны огромные последствия;
— 004: десятая проблема Гильберта над Q; это я выбрал больше ностальгически как большой привет Юрию Владимировичу Матиясевичу, но это и правда была важная задача;
— 034: гипотеза изобилия, которая важна для классификации алгебраических многообразий;
— 002 + 006: гипотеза Бёрча-Свиннертона-Даера и гипотеза Голдфельда, которые в сумме тоже дают большой шаг к ещё одной задаче тысячелетия (но она не закрыта ещё совсем);
— 159: гипотеза Эрдёша об арифметических прогрессиях.
И в информатике, где я всё-таки могу понять, о чём конкретно идёт речь:
— 102: unique games; получены точные пределы приближения, и это сразу даёт массу результатов о (не)приближаемости разных NP-трудных задач;
— 103: L = RL = BPL, полная дерандомизация в классе алгоритмов с логарифмической памятью;
— 107: экспонента в сложности умножения матриц над С сведена до 2.25; новые алгоритмы об умножении матриц регулярно придумывают, в том числе автоматически, но здесь реально огромный скачок.
В целом, если бы это не было частью глобальной AI-революции, текст со скромным названием "OpenAI Research Catalog" стал бы главным математическим текстом тысячелетия, а может, и двух.
Но вопрос уже давно стоит шире любой конкретной задачи, будь она хоть на миллион, хоть на два. Выделю главную заключительную мысль из моего доклада, да и вообще из текущего математического zeitgeist (недавно как раз об этом разговаривал в дружественном канале Валентина Малых).
Главное в том, что сейчас пока не вполне понятно как, но точно радикально меняется понятие "результата" в математике.
Раньше как было: основной результат математика — доказанные теоремы. Если именную гипотезу доказал, над которой люди долго думали и не придумали, ты точно молодец. Это относительно легко проверяемая специалистами вещь (бывают исключения вроде abc-гипотезы, но они редки), и если специалисты проверили, то легко согласиться с тем, что результат есть и он крутой. Даже если надо быть очень узким специалистом, чтобы понять суть твоей работы. Конечно, я упрощаю, конечно, математики бывают разные, и это долгий разговор, но в целом было примерно так.
Сейчас ситуация изменилась радикально. Доказательства теперь не то чтобы ничего не стоят: не любую задачу можно решить, задачи бывают сложнее и проще, а AI-модели не всемогущи. Но человек перестал быть основным средством доказательства теорем, то есть доказательства перестали принадлежать людям. Пока ещё нужно проверять результаты и переписывать более понятно для других людей, но это тоже нужно всё в меньшей степени.
Что такое "результат" для человека теперь, математики пока не согласились, и любое новое определение ведёт к серьёзным институциональным изменениям. Да и вообще непонятно, что такое теперь "быть математиком". И это не думерский прогноз, а реальный вопрос, на который математическому сообществу придётся отвечать прямо сейчас.
Ещё одна важная деталь в том, что это результаты внутренней модели OpenAI. Иначе говоря, новые доказательства теперь не просто не людьми делаются, но и получить их из "чёрного ящика пришельцев" могут только очень специальные люди.
И, как вы понимаете, пока я говорю о математике, потому что там это уже случилось. Но другие науки ждёт то же самое в ближайшем будущем, а там и не только науки. Дивный новый мир становится всё интереснее...
#ai #math #news #blog
Большой пост об этом писать не знаю как, учитывая, что большинство этих результатов я не понимаю даже на уровне формулировки. Но вот что при беглом прочтении кажется самым главным в списке:
— 003: квазигипотеза Римана, ну тут без вопросов, это огромный качественный прорыв;
— 032: гипотезы Ходжа и Тейта для важных случаев; это не вполне закрытая задача на миллион, но тоже очевидны огромные последствия;
— 004: десятая проблема Гильберта над Q; это я выбрал больше ностальгически как большой привет Юрию Владимировичу Матиясевичу, но это и правда была важная задача;
— 034: гипотеза изобилия, которая важна для классификации алгебраических многообразий;
— 002 + 006: гипотеза Бёрча-Свиннертона-Даера и гипотеза Голдфельда, которые в сумме тоже дают большой шаг к ещё одной задаче тысячелетия (но она не закрыта ещё совсем);
— 159: гипотеза Эрдёша об арифметических прогрессиях.
И в информатике, где я всё-таки могу понять, о чём конкретно идёт речь:
— 102: unique games; получены точные пределы приближения, и это сразу даёт массу результатов о (не)приближаемости разных NP-трудных задач;
— 103: L = RL = BPL, полная дерандомизация в классе алгоритмов с логарифмической памятью;
— 107: экспонента в сложности умножения матриц над С сведена до 2.25; новые алгоритмы об умножении матриц регулярно придумывают, в том числе автоматически, но здесь реально огромный скачок.
В целом, если бы это не было частью глобальной AI-революции, текст со скромным названием "OpenAI Research Catalog" стал бы главным математическим текстом тысячелетия, а может, и двух.
Но вопрос уже давно стоит шире любой конкретной задачи, будь она хоть на миллион, хоть на два. Выделю главную заключительную мысль из моего доклада, да и вообще из текущего математического zeitgeist (недавно как раз об этом разговаривал в дружественном канале Валентина Малых).
Главное в том, что сейчас пока не вполне понятно как, но точно радикально меняется понятие "результата" в математике.
Раньше как было: основной результат математика — доказанные теоремы. Если именную гипотезу доказал, над которой люди долго думали и не придумали, ты точно молодец. Это относительно легко проверяемая специалистами вещь (бывают исключения вроде abc-гипотезы, но они редки), и если специалисты проверили, то легко согласиться с тем, что результат есть и он крутой. Даже если надо быть очень узким специалистом, чтобы понять суть твоей работы. Конечно, я упрощаю, конечно, математики бывают разные, и это долгий разговор, но в целом было примерно так.
Сейчас ситуация изменилась радикально. Доказательства теперь не то чтобы ничего не стоят: не любую задачу можно решить, задачи бывают сложнее и проще, а AI-модели не всемогущи. Но человек перестал быть основным средством доказательства теорем, то есть доказательства перестали принадлежать людям. Пока ещё нужно проверять результаты и переписывать более понятно для других людей, но это тоже нужно всё в меньшей степени.
Что такое "результат" для человека теперь, математики пока не согласились, и любое новое определение ведёт к серьёзным институциональным изменениям. Да и вообще непонятно, что такое теперь "быть математиком". И это не думерский прогноз, а реальный вопрос, на который математическому сообществу придётся отвечать прямо сейчас.
Ещё одна важная деталь в том, что это результаты внутренней модели OpenAI. Иначе говоря, новые доказательства теперь не просто не людьми делаются, но и получить их из "чёрного ящика пришельцев" могут только очень специальные люди.
И, как вы понимаете, пока я говорю о математике, потому что там это уже случилось. Но другие науки ждёт то же самое в ближайшем будущем, а там и не только науки. Дивный новый мир становится всё интереснее...
#ai #math #news #blog
❤36🔥11👍5😱3
Вчера вдруг с нескольких сторон начали поздравлять с тем, что я вроде как стал одним из самых крутых российских учёных согласно вышедшему недавно датасету Elsevier и Scopus.
Новостной повод звучал максимально странно: "Шесть учёных и педагогов Яндекса попали в престижный научный рейтинг Elsevier", и среди них я, хотя к Яндексу я имею отношение только тем, что его премию получил в 2023 году (за что Яндексу, конечно, большое спасибо):
Gazeta.ru: Российские ученые вошли в топ-1% самых влиятельных в мире
Lenta.ru: Российские ученые попали в мировой рейтинг самых влиятельных исследователей
Rozetked: Российские учёные — в числе самых влиятельных в мире
В общем, конечно, мне стало интересно, датасет я скачал, и мы с Клодом в нём поразбирались. Всё, конечно, и так, и не совсем. :) Читайте по ссылке:
«Самые влиятельные учёные» от Elsevier
Краткое содержание ниже, но лучше по ссылке.
Что это за список. Группа Джона Иоаннидиса (того самого, который кризис репликации) раз в год считает для каждого автора Scopus композитный индекс c-score из шести логарифмически нормированных слагаемых. В список берут мировую сотню тысяч или 2% лучших в каждой из 174 подобластей. Так что "топ-2%" — это просто порог входа, а "топ-1%" — это как по факту в списке получилось.
Что в посте:
— Где я в этом потоке: По 2025 году — 1940-е место из 517 648 авторов в AI & Image Processing (топ-0,37%) и 106-е среди 989 российских учёных в списке. Среди соседей — авторы BLEU, HOG, Optuna, ReAct и глубоких ансамблей, а в карьерной таблице рядом стоит Уитфилд Диффи из протокола Диффи—Хеллмана.
— Из чего это сложилось: многие цитирования пришли из больших коллабораций (привет, SPAdes), плюс книги, написанные в одиночку; мораль: пишите книги!
— Что не так со списком: Scopus плохо видит ML, например, Андрей Карпатый в 2025 году ниже меня, а Дмитрия Ветрова в списке нет вовсе; первое место в AI, выше Бенджи и Хинтона, — у автора метаэвристик про серых волков и китов, а покойный Лотфи Заде и в 2025 году на пятом месте.
— Россиян не шесть, а около полутора тысяч: 1133 человека в карьерной таблице и 989 в годовой — 31-е и 36-е места; примерно семь человек на миллион жителей, как в Бразилии; правда, лучший "россиянин" 2025 года почти все свои статьи написал в Китае.
— Чем мы занимаемся: 41% российских участников — физики (в мире — 9%), клинической медицины в девять раз меньше мировой доли, российская часть списка старше (по возрасту) мировой лет на восемь.
— Самое неприятное открытие: по самоцитированию Россия находится на первом месте из всех стран с не меньшим числом участников списка, с большим отрывом, и составом наук это не объясняется...
Имеет ли всё это какое-то реальное значение? Конечно, нет. Но оказаться в такой компании приятно!
Что ж, буду считать, что это хороший повод написать ещё одну книгу — в одиночку, разумеется.)
А если вы хотите увидеть "учёного из топ-1% списка Elsevier" вживую и послушать о том, откуда берутся экзистенциальные риски от AI, приходите в воскресенье в "Бражник", у меня нечасто бывают настолько открытые всем желающим лекции.
#lifestyle #blog #ai #research
Новостной повод звучал максимально странно: "Шесть учёных и педагогов Яндекса попали в престижный научный рейтинг Elsevier", и среди них я, хотя к Яндексу я имею отношение только тем, что его премию получил в 2023 году (за что Яндексу, конечно, большое спасибо):
Gazeta.ru: Российские ученые вошли в топ-1% самых влиятельных в мире
Lenta.ru: Российские ученые попали в мировой рейтинг самых влиятельных исследователей
Rozetked: Российские учёные — в числе самых влиятельных в мире
В общем, конечно, мне стало интересно, датасет я скачал, и мы с Клодом в нём поразбирались. Всё, конечно, и так, и не совсем. :) Читайте по ссылке:
«Самые влиятельные учёные» от Elsevier
Краткое содержание ниже, но лучше по ссылке.
Что это за список. Группа Джона Иоаннидиса (того самого, который кризис репликации) раз в год считает для каждого автора Scopus композитный индекс c-score из шести логарифмически нормированных слагаемых. В список берут мировую сотню тысяч или 2% лучших в каждой из 174 подобластей. Так что "топ-2%" — это просто порог входа, а "топ-1%" — это как по факту в списке получилось.
Что в посте:
— Где я в этом потоке: По 2025 году — 1940-е место из 517 648 авторов в AI & Image Processing (топ-0,37%) и 106-е среди 989 российских учёных в списке. Среди соседей — авторы BLEU, HOG, Optuna, ReAct и глубоких ансамблей, а в карьерной таблице рядом стоит Уитфилд Диффи из протокола Диффи—Хеллмана.
— Из чего это сложилось: многие цитирования пришли из больших коллабораций (привет, SPAdes), плюс книги, написанные в одиночку; мораль: пишите книги!
— Что не так со списком: Scopus плохо видит ML, например, Андрей Карпатый в 2025 году ниже меня, а Дмитрия Ветрова в списке нет вовсе; первое место в AI, выше Бенджи и Хинтона, — у автора метаэвристик про серых волков и китов, а покойный Лотфи Заде и в 2025 году на пятом месте.
— Россиян не шесть, а около полутора тысяч: 1133 человека в карьерной таблице и 989 в годовой — 31-е и 36-е места; примерно семь человек на миллион жителей, как в Бразилии; правда, лучший "россиянин" 2025 года почти все свои статьи написал в Китае.
— Чем мы занимаемся: 41% российских участников — физики (в мире — 9%), клинической медицины в девять раз меньше мировой доли, российская часть списка старше (по возрасту) мировой лет на восемь.
— Самое неприятное открытие: по самоцитированию Россия находится на первом месте из всех стран с не меньшим числом участников списка, с большим отрывом, и составом наук это не объясняется...
Имеет ли всё это какое-то реальное значение? Конечно, нет. Но оказаться в такой компании приятно!
Что ж, буду считать, что это хороший повод написать ещё одну книгу — в одиночку, разумеется.)
А если вы хотите увидеть "учёного из топ-1% списка Elsevier" вживую и послушать о том, откуда берутся экзистенциальные риски от AI, приходите в воскресенье в "Бражник", у меня нечасто бывают настолько открытые всем желающим лекции.
#lifestyle #blog #ai #research
❤35🔥14👏3👍2