Дописал большой пост про то, что выросло из гипотезы Диница — Гарга — Гёманса! Прошлый пост о ней я закончил словами "А что ещё дальше, коллеги?..". Сегодня могу отчитаться, что было дальше: три недели, три препринта, один merged pull request от внешнего контрибьютора и мои первые сабмиты на VibeMathed.
Ниже только введение и оглавление, читать как всегда по ссылке:
Всё течёт — и кое-что даже доказывается: неделимые потоки
1. Введение
Из твита Дмитрия Рыбина выросла целая исследовательская программа. Сначала мы с моделями опускали планку снизу: Часть I подняла нижнюю оценку для константы сохранения цены с 9/8 до 1.1397..., Часть II — до 1.2825..., а потом сообщество в лице Альфредо де ла Фуэнте докрутило её до 1.2826... прямым pull request'ом в мой репозиторий.
А потом произошёл поворот, ради которого я и пишу этот пост: в Части III появились первые положительные результаты — точные константы и первые конечные оценки для неограниченных классов задач. Причём константы наших же контрпримеров оказались не случайными числами, а точными значениями соответствующих экстремальных задач: 9/8 — это ровно локальная константа треугольника Рыбина, а 1.1397... = (299−41√41)/32 — ровно константа четырёхинтервального ядра из Части I. Как будто задача с самого начала знала, куда всё идёт.
Здесь речь уже не про один гигачад-промпт "you should do a breakthrough". Это была длинная совместная работа с LLM: три модели в разных ролях, десятки промптов, восемь циклов "кампания — верификация — теория — новый бриф", перекрёстная проверка моделей друг другом и 37 машинно-проверяемых сертификатов в репозитории. Мне кажется, именно так в ближайшие месяцы (а может, и годы) будет выглядеть заметная часть математики.
Дальше оглавлением.
2. Напоминание: гипотеза и треугольник: семивершинный контрпример и почему больше 9/8 из того же механизма не выжать.
3. Хребты и терминалы с парой выходов: контрпримеры превращаются в системы интервалов, планарная нижняя оценка 1.1397... > 9/8.
4. Часть II, семнадцать терминалов с общим ребром: рекорд 1.2825..., community-рекорд 1.2826... и лестница рекордов по числу терминалов.
5. А нельзя ли чего-нибудь доказать? Главный принцип Части III — точные средние: цены исчезают из задачи, остаётся геометрия "ящиков".
6. Арифметика: делимость бесплатно, несравнимость нет — цепочки делимости, оптимальные покрытия за полиномиальное время и семейство оценок, продолжающее классические результаты Скутеллы.
7. Вся задача свелась к одному окну [n, 2n]: редукция слияния, C ≤ K* ≤ 2C и нижняя оценка K* ≥ 2.5652.
8. Геометрия: пары бесплатны, первый враг — треугольник. Сетевые матрицы, E(2)=1, E(3)=9/8, E(4)=(299−41√41)/32; по-моему, главный сюжетный поворот всей серии.
9. Раскраски, Property B и первый ответ для неограниченного класса: плоскость Фано не реализуется путями в дереве, а арность 3 даёт радиус 2D.
10. Классы графов и новый планарный рекорд: таблица констант по классам графов и планарная нижняя оценка 1.17353...
11. Как проверяли и как шёл процесс: точная рациональная арифметика, solver-free доказательства и три модели в трёх разных ролях.
12. Что осталось открытым: конечность универсальной C, гипотеза 4/3, глобальная арность 3 и планарная дыра.
13. Заключение.
Месяц назад эта история начиналась с семи вершин и твита; сейчас у неё три препринта, таблица рекордов с внешними контрибьюторами и первые точные положительные константы. В прошлых постах были молниеносные результаты: одна гипотеза — один промпт — один документ. Этот пост про другой, куда более массовый жанр: LLM как полноценные соавторы в долгом проекте, с разделением ролей, взаимной проверкой и накоплением результатов.
А что ещё дальше, коллеги?
#ai #math #blog #longreads
Ниже только введение и оглавление, читать как всегда по ссылке:
Всё течёт — и кое-что даже доказывается: неделимые потоки
1. Введение
Из твита Дмитрия Рыбина выросла целая исследовательская программа. Сначала мы с моделями опускали планку снизу: Часть I подняла нижнюю оценку для константы сохранения цены с 9/8 до 1.1397..., Часть II — до 1.2825..., а потом сообщество в лице Альфредо де ла Фуэнте докрутило её до 1.2826... прямым pull request'ом в мой репозиторий.
А потом произошёл поворот, ради которого я и пишу этот пост: в Части III появились первые положительные результаты — точные константы и первые конечные оценки для неограниченных классов задач. Причём константы наших же контрпримеров оказались не случайными числами, а точными значениями соответствующих экстремальных задач: 9/8 — это ровно локальная константа треугольника Рыбина, а 1.1397... = (299−41√41)/32 — ровно константа четырёхинтервального ядра из Части I. Как будто задача с самого начала знала, куда всё идёт.
Здесь речь уже не про один гигачад-промпт "you should do a breakthrough". Это была длинная совместная работа с LLM: три модели в разных ролях, десятки промптов, восемь циклов "кампания — верификация — теория — новый бриф", перекрёстная проверка моделей друг другом и 37 машинно-проверяемых сертификатов в репозитории. Мне кажется, именно так в ближайшие месяцы (а может, и годы) будет выглядеть заметная часть математики.
Дальше оглавлением.
2. Напоминание: гипотеза и треугольник: семивершинный контрпример и почему больше 9/8 из того же механизма не выжать.
3. Хребты и терминалы с парой выходов: контрпримеры превращаются в системы интервалов, планарная нижняя оценка 1.1397... > 9/8.
4. Часть II, семнадцать терминалов с общим ребром: рекорд 1.2825..., community-рекорд 1.2826... и лестница рекордов по числу терминалов.
5. А нельзя ли чего-нибудь доказать? Главный принцип Части III — точные средние: цены исчезают из задачи, остаётся геометрия "ящиков".
6. Арифметика: делимость бесплатно, несравнимость нет — цепочки делимости, оптимальные покрытия за полиномиальное время и семейство оценок, продолжающее классические результаты Скутеллы.
7. Вся задача свелась к одному окну [n, 2n]: редукция слияния, C ≤ K* ≤ 2C и нижняя оценка K* ≥ 2.5652.
8. Геометрия: пары бесплатны, первый враг — треугольник. Сетевые матрицы, E(2)=1, E(3)=9/8, E(4)=(299−41√41)/32; по-моему, главный сюжетный поворот всей серии.
9. Раскраски, Property B и первый ответ для неограниченного класса: плоскость Фано не реализуется путями в дереве, а арность 3 даёт радиус 2D.
10. Классы графов и новый планарный рекорд: таблица констант по классам графов и планарная нижняя оценка 1.17353...
11. Как проверяли и как шёл процесс: точная рациональная арифметика, solver-free доказательства и три модели в трёх разных ролях.
12. Что осталось открытым: конечность универсальной C, гипотеза 4/3, глобальная арность 3 и планарная дыра.
13. Заключение.
Месяц назад эта история начиналась с семи вершин и твита; сейчас у неё три препринта, таблица рекордов с внешними контрибьюторами и первые точные положительные константы. В прошлых постах были молниеносные результаты: одна гипотеза — один промпт — один документ. Этот пост про другой, куда более массовый жанр: LLM как полноценные соавторы в долгом проекте, с разделением ролей, взаимной проверкой и накоплением результатов.
А что ещё дальше, коллеги?
#ai #math #blog #longreads
2❤28🔥10👍6😱1
Последние два дня провёл в Казани, на VI Конференции математических центров России. Делал два доклада с завлекательными названиями:
— "Vibemathed: как LLM делают математику"
— "Гипотеза Диница — Гарга — Гёманса как пример вайб-математики"
Оба новые, оба непременно выложу для вас. И ещё даже интервью взяли для университетского телевидения, которое располагается в совершенно потрясающем коридоре. Интервью, кажется, прикольное получилось, надеюсь, тоже смогу поделиться.
Доклады имели просто оглушительный успех, ко мне подходило огромное количество людей, как старых знакомых, так и вовсе незнакомых. На второй доклад, хоть он и технический и на секции, тоже набрался полный зал слушателей.
И вот что я вам хочу сказать. И год, и два года назад я уже делал подобные доклады. И хотя тогда тренды уже были несомненными, очень многие относились к развитию AI очень скептически. Помню, как на одной конференции после очередного моего доклада в духе "State of AI" поднял руку один уважаемый учёный и публично спросил примерно следующее: "Как вы можете так серьёзно об этом говорить? Все эти модели — это же просто игрушки!" (цитату переврал, но слово "игрушки" помню точно :) )
Вчера и сегодня ни один из подошедших не высказывался в таком духе. Более того, практически все говорили примерно так: о да, я тоже уже пробовал, восхищён, мои аспиранты пробовали, как теперь жить, мир меняется, как посоветуете более эффективно работать с LLM и так далее. Было очень приятно вести такие разговоры.
Так что последние два дня несколько вернули мне веру в человечество. Умные люди могут быстро адаптироваться к меняющимся обстоятельствам, сколько бы им ни было лет и насколько бы интегрированы в условную "систему" они ни были. Конечно, только время покажет, сможем ли мы адаптироваться fast enough...
#photo #lifestyle #events #travel #ai #math
— "Vibemathed: как LLM делают математику"
— "Гипотеза Диница — Гарга — Гёманса как пример вайб-математики"
Оба новые, оба непременно выложу для вас. И ещё даже интервью взяли для университетского телевидения, которое располагается в совершенно потрясающем коридоре. Интервью, кажется, прикольное получилось, надеюсь, тоже смогу поделиться.
Доклады имели просто оглушительный успех, ко мне подходило огромное количество людей, как старых знакомых, так и вовсе незнакомых. На второй доклад, хоть он и технический и на секции, тоже набрался полный зал слушателей.
И вот что я вам хочу сказать. И год, и два года назад я уже делал подобные доклады. И хотя тогда тренды уже были несомненными, очень многие относились к развитию AI очень скептически. Помню, как на одной конференции после очередного моего доклада в духе "State of AI" поднял руку один уважаемый учёный и публично спросил примерно следующее: "Как вы можете так серьёзно об этом говорить? Все эти модели — это же просто игрушки!" (цитату переврал, но слово "игрушки" помню точно :) )
Вчера и сегодня ни один из подошедших не высказывался в таком духе. Более того, практически все говорили примерно так: о да, я тоже уже пробовал, восхищён, мои аспиранты пробовали, как теперь жить, мир меняется, как посоветуете более эффективно работать с LLM и так далее. Было очень приятно вести такие разговоры.
Так что последние два дня несколько вернули мне веру в человечество. Умные люди могут быстро адаптироваться к меняющимся обстоятельствам, сколько бы им ни было лет и насколько бы интегрированы в условную "систему" они ни были. Конечно, только время покажет, сможем ли мы адаптироваться fast enough...
#photo #lifestyle #events #travel #ai #math
🔥42❤21👍4🫡1
Сегодня продолжу рассказывать про свои недавние статьи. Вот, например, порекламирую работу моего аспиранта Вадима Ломшакова и ещё одного моего аспиранта (правда, больше формального) Андрея Подивилова:
AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation
Почти все бенчмарки для LLM-агентов сводят прогон к одному биту: решил задачу или нет. Для лидерборда это, может, и неизбежно, но человек, который работает с агентом целый день, видит всю траекторию: как агент следует инструкциям, как пользуется инструментами, проверяет ли за собой, как исправляет ошибки и что вообще пишет пользователю.
Агент может пройти формальную проверку, но быть невыносимым в "рабочей коммуникации"; а может в итоге так и не написать проходящую тесты программу, но по дороге сделать кучу полезного. А для задач вроде "напиши документацию" бинарного критерия успеха и вовсе не существует.
AgentLens — это попытка сделать систему, которая оценивает именно траектории. Каждый прогон получает формальную верификацию там, где она возможна (тесты, проверки состояния репозитория и т.д.), плюс отзывы LLM-судей по пяти измерениям: итоговый результат, следование инструкциям, разные ловушки (pitfalls), в которые можно попасться, качество работы с инструментами и просто насколько приятно человеку с агентом взаимодействовать.
Одна из главных идей в том, что LLM-судья не только ставит оценку, но и пишет связный текстовый отзыв со ссылками на конкретные места в траектории, так что любой балл хорошо мотивирован, и эту мотивацию можно реально прочитать. Пользователя в нашей статье, кстати, тоже симулирует LLM — с разными персонами, включая пользователя слегка токсичного.
В полученном лидерборде на первом месте Opus 4.7, но это довольно скучный результат. Самое интересное — что по отзывам часто видны важные подробности. Например, Kimi K2.6 оказался на последнем месте, и по цифрам это выглядит как "слабая модель"; но отзыв судьи по tool calls показывает, что почти все ошибки — это один и тот же баг парсинга аргументов на стороне OpenRouter, а когда аргументы доходили нормально, агент работал вполне прилично.
Ещё один любопытный результат — self-preference судей: если сравнивать GPT-5.5 и Sonnet 4.6 их же собственными судьями, каждый судья заметно чаще предпочитает свою модель. Это ожидаемо, но забавно, что половина этого эффекта — в той самой крайне субъективной метрике Pleasantness.) Впрочем, победителя в среднем это не меняет.
Весь код выложен в соответствующем репозитории, и есть даже отдельная страничка про AgentLens и пост от авторов из Explyt.
Спасибо Вадиму Ломшакову, Андрею Подивилову и другим соавторам! Надеюсь, ещё поработаем вместе.
#research #publications #ai
AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation
Почти все бенчмарки для LLM-агентов сводят прогон к одному биту: решил задачу или нет. Для лидерборда это, может, и неизбежно, но человек, который работает с агентом целый день, видит всю траекторию: как агент следует инструкциям, как пользуется инструментами, проверяет ли за собой, как исправляет ошибки и что вообще пишет пользователю.
Агент может пройти формальную проверку, но быть невыносимым в "рабочей коммуникации"; а может в итоге так и не написать проходящую тесты программу, но по дороге сделать кучу полезного. А для задач вроде "напиши документацию" бинарного критерия успеха и вовсе не существует.
AgentLens — это попытка сделать систему, которая оценивает именно траектории. Каждый прогон получает формальную верификацию там, где она возможна (тесты, проверки состояния репозитория и т.д.), плюс отзывы LLM-судей по пяти измерениям: итоговый результат, следование инструкциям, разные ловушки (pitfalls), в которые можно попасться, качество работы с инструментами и просто насколько приятно человеку с агентом взаимодействовать.
Одна из главных идей в том, что LLM-судья не только ставит оценку, но и пишет связный текстовый отзыв со ссылками на конкретные места в траектории, так что любой балл хорошо мотивирован, и эту мотивацию можно реально прочитать. Пользователя в нашей статье, кстати, тоже симулирует LLM — с разными персонами, включая пользователя слегка токсичного.
В полученном лидерборде на первом месте Opus 4.7, но это довольно скучный результат. Самое интересное — что по отзывам часто видны важные подробности. Например, Kimi K2.6 оказался на последнем месте, и по цифрам это выглядит как "слабая модель"; но отзыв судьи по tool calls показывает, что почти все ошибки — это один и тот же баг парсинга аргументов на стороне OpenRouter, а когда аргументы доходили нормально, агент работал вполне прилично.
Ещё один любопытный результат — self-preference судей: если сравнивать GPT-5.5 и Sonnet 4.6 их же собственными судьями, каждый судья заметно чаще предпочитает свою модель. Это ожидаемо, но забавно, что половина этого эффекта — в той самой крайне субъективной метрике Pleasantness.) Впрочем, победителя в среднем это не меняет.
Весь код выложен в соответствующем репозитории, и есть даже отдельная страничка про AgentLens и пост от авторов из Explyt.
Спасибо Вадиму Ломшакову, Андрею Подивилову и другим соавторам! Надеюсь, ещё поработаем вместе.
#research #publications #ai
❤16🥴4👍1
Давным-давно, больше месяца назад, прошёл митап CS Space про LLM, на котором я не только делал доклад про вайб-математику, но и проводил квиз про LLM-искусство. Тогда же и обещал его выложить.
Вот, выполняю обещание в виде интерактивной игры на сайте:
Квиз по LLM-искусству
Там можно войти по Google-аккаунту, как в игре "Что было раньше" (о которой я вам писал месяц назад), но в целом особого смысла в этом нет, потому что лидерборд здесь точно низачем не нужен.
В квизе три раунда:
1. "Стихи о любви": нужно выбрать настоящий отрывок авторства известного поэта из четырёх вариантов, три из которых в стиле этого поэта написал Claude Fable 5.
2. "Автопортреты LLM": нужно выбрать из нескольких вариантов, какая именно модель написала подробные промпты для автопортретов, которые вы видите (в каждом задании четыре автопортрета одной и той же модели).
3. "AI-музыка": нужно ответить, о какой модели или архитектуре поётся в песне, текст которой сочинил Claude Fable, а на музыку положила Suno.
Второй тур во многом угадайка (я так и задумывал, чтобы немного уравнять шансы участников), а вот первый и третий, как по мне, прямо очень крутыми вышли.
Честно говоря, я за AI-музыкой не слежу и не ожидал, что песни так хорошо получатся. Да и стихи меня поразили. Вспомните, что ещё пару поколений назад LLM было очень трудно писать по-русски, соблюдая размер и рифму. А сейчас уже Бродский вообще как родной.)
Enjoy!
#web #chgk #fun
Вот, выполняю обещание в виде интерактивной игры на сайте:
Квиз по LLM-искусству
Там можно войти по Google-аккаунту, как в игре "Что было раньше" (о которой я вам писал месяц назад), но в целом особого смысла в этом нет, потому что лидерборд здесь точно низачем не нужен.
В квизе три раунда:
1. "Стихи о любви": нужно выбрать настоящий отрывок авторства известного поэта из четырёх вариантов, три из которых в стиле этого поэта написал Claude Fable 5.
2. "Автопортреты LLM": нужно выбрать из нескольких вариантов, какая именно модель написала подробные промпты для автопортретов, которые вы видите (в каждом задании четыре автопортрета одной и той же модели).
3. "AI-музыка": нужно ответить, о какой модели или архитектуре поётся в песне, текст которой сочинил Claude Fable, а на музыку положила Suno.
Второй тур во многом угадайка (я так и задумывал, чтобы немного уравнять шансы участников), а вот первый и третий, как по мне, прямо очень крутыми вышли.
Честно говоря, я за AI-музыкой не слежу и не ожидал, что песни так хорошо получатся. Да и стихи меня поразили. Вспомните, что ещё пару поколений назад LLM было очень трудно писать по-русски, соблюдая размер и рифму. А сейчас уже Бродский вообще как родной.)
Enjoy!
#web #chgk #fun
🔥21❤3👏3🤩2👍1🐳1
Обзор игры обязательно будет, но вне очереди поделюсь радостью, потому что очень уж хорошо совпало.
Только что написал вам про статью "AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation"... и вот сегодня её приняли на EMNLP!
Вадим, Андрей и все-все-все, поздравляю!!
#research #publications #ai
Только что написал вам про статью "AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation"... и вот сегодня её приняли на EMNLP!
Вадим, Андрей и все-все-все, поздравляю!!
#research #publications #ai
🔥36❤5🐳4👍1