А вот и второй доклад из Казани:
VI Конференция матцентров -- 2026-08-18 -- Гипотеза Диница — Гарга — Гёманса как пример вайб-математики
(слайды на странице "Выступления")
Это гораздо более техническое выступление, здесь речь шла про конкретную задачу, которой я недавно с помощью LLM занимался. Так что большая часть доклада посвящена именно полученным результатам, и довольно характерно, что я не успел даже и результаты все изложить, не то что идеи какие-то, которые там возникли.
Давайте я к этому ещё добавлю пару ссылок:
— сразу с нескольких сторон мне прислали небольшой и очень круто написанный текст Романа Михайлова, который уже давно занимается математикой с помощью LLM: первая часть, вторая часть; в математике Романа я, конечно, ничего не понимаю, но слушал его рассказ на МКН пару месяцев назад, и уже тогда звучало очень круто, а за эти месяцы произошло ещё несколько важных прорывов;
— а Владимир Смолин выложил видео моего первого доклада, Vibemathed, со своей позиции; звук там похуже, зато видео есть; я уже, конечно, перемонтировать не буду, но пусть ссылка здесь будет, и спасибо Владимиру!
#math #talks #events #ai #aimath
VI Конференция матцентров -- 2026-08-18 -- Гипотеза Диница — Гарга — Гёманса как пример вайб-математики
(слайды на странице "Выступления")
Это гораздо более техническое выступление, здесь речь шла про конкретную задачу, которой я недавно с помощью LLM занимался. Так что большая часть доклада посвящена именно полученным результатам, и довольно характерно, что я не успел даже и результаты все изложить, не то что идеи какие-то, которые там возникли.
Давайте я к этому ещё добавлю пару ссылок:
— сразу с нескольких сторон мне прислали небольшой и очень круто написанный текст Романа Михайлова, который уже давно занимается математикой с помощью LLM: первая часть, вторая часть; в математике Романа я, конечно, ничего не понимаю, но слушал его рассказ на МКН пару месяцев назад, и уже тогда звучало очень круто, а за эти месяцы произошло ещё несколько важных прорывов;
— а Владимир Смолин выложил видео моего первого доклада, Vibemathed, со своей позиции; звук там похуже, зато видео есть; я уже, конечно, перемонтировать не буду, но пусть ссылка здесь будет, и спасибо Владимиру!
#math #talks #events #ai #aimath
❤9👍4🔥2
Продолжаю про недавние статьи — и по забавному совпадению снова про бенчмарк для агентов, но совсем с другой стороны и с совсем другой группой авторов.
В прошлый раз я рассказывал про AgentLens, который мы делали с Вадимом Ломшаковым и Андреем Подивиловым; а эту работу сделали коллеги из лаборатории прикладного ИИ СПб ФИЦ РАН под руководством Максима Абрамова, и вышла она в IEEE Access:
MultiCAT-Bench: A Multi-Categorical Agent Tool Use Benchmark
AgentLens смотрел на агента в боевых условиях, пытаясь анализировать целые траектории, реалистичные задачи, живое (ну, симулированное, конечно) взаимодействие с пользователем. А MultiCAT-Bench — это, наоборот, "микроскоп": контролируемое измерение одной конкретной способности, вызова инструментов (function calling / tool use).
Но схожа идея углубиться в детали того, почему у агентов что-то не получается. Проблема существующих бенчмарков для tool use в том, что в них разные источники сложности перемешаны: непонятно, модель ошиблась потому, что вызовов было много, или потому, что параметры вложенные, или потому, что пользователь писал со сленгом и опечатками.
Поэтому мы генерируем задачи полностью автоматически, систематически варьируя десять разных факторов сложности: число вызовов и число доступных инструментов, число параметров и их опциональность, глубину вложенности, один или несколько пользователей в запросе, нужен ли вызов вообще (или нужно уточнить параметры, или ответить текстом), плюс синтаксический и семантический шум.
Получилось чуть меньше четырёх тысяч задач, и поскольку каждая задача размечена по всем осям, можно не просто мерить среднюю температуру по больнице, а раскладывать ошибки по факторам. На полученном бенчмарке прогнали десять моделей. Из результатов мне кажутся интересными вот какие:
— самый частый режим ошибок — пропуск; recall заметно ниже precision, то есть модели редко вызывают не то — они чаще не вызывают то, что нужно, или теряют аргументы;
— сложнее всего моделям даётся ширина, а не глубина; больше всего точность падает при росте числа вызовов в ответе (в ~1.6 раза), доли обязательных параметров и их числа, а вот вложенность параметров, число привязанных инструментов и даже лингвистический шум почти ни на что не влияют;
— неожиданно тяжёлым оказался мультипользовательский сценарий (когда один запрос содержит поручения от разных людей); а вот вызовы из разных доменов, наоборот, даже чуть легче, чем из одного, видимо, разнородные инструменты проще различать;
— рассуждающие модели радикально лучше распознают ситуацию "данных не хватает, надо переспросить".
В лидерах на этот раз Grok 4.1 Fast и GPT-5 Mini с ничтожной разницей; но лидерборд тут, как и в прошлый раз, наименее интересная часть, смысл бенчмарка именно в факторном анализе.
Большое спасибо Артёму Вяткину, Александру Попцову, Максиму Абрамову и всем коллегам из СПб ФИЦ РАН! Надеюсь, опять же, ещё не раз посотрудничаем!
#research #publications #ai
В прошлый раз я рассказывал про AgentLens, который мы делали с Вадимом Ломшаковым и Андреем Подивиловым; а эту работу сделали коллеги из лаборатории прикладного ИИ СПб ФИЦ РАН под руководством Максима Абрамова, и вышла она в IEEE Access:
MultiCAT-Bench: A Multi-Categorical Agent Tool Use Benchmark
AgentLens смотрел на агента в боевых условиях, пытаясь анализировать целые траектории, реалистичные задачи, живое (ну, симулированное, конечно) взаимодействие с пользователем. А MultiCAT-Bench — это, наоборот, "микроскоп": контролируемое измерение одной конкретной способности, вызова инструментов (function calling / tool use).
Но схожа идея углубиться в детали того, почему у агентов что-то не получается. Проблема существующих бенчмарков для tool use в том, что в них разные источники сложности перемешаны: непонятно, модель ошиблась потому, что вызовов было много, или потому, что параметры вложенные, или потому, что пользователь писал со сленгом и опечатками.
Поэтому мы генерируем задачи полностью автоматически, систематически варьируя десять разных факторов сложности: число вызовов и число доступных инструментов, число параметров и их опциональность, глубину вложенности, один или несколько пользователей в запросе, нужен ли вызов вообще (или нужно уточнить параметры, или ответить текстом), плюс синтаксический и семантический шум.
Получилось чуть меньше четырёх тысяч задач, и поскольку каждая задача размечена по всем осям, можно не просто мерить среднюю температуру по больнице, а раскладывать ошибки по факторам. На полученном бенчмарке прогнали десять моделей. Из результатов мне кажутся интересными вот какие:
— самый частый режим ошибок — пропуск; recall заметно ниже precision, то есть модели редко вызывают не то — они чаще не вызывают то, что нужно, или теряют аргументы;
— сложнее всего моделям даётся ширина, а не глубина; больше всего точность падает при росте числа вызовов в ответе (в ~1.6 раза), доли обязательных параметров и их числа, а вот вложенность параметров, число привязанных инструментов и даже лингвистический шум почти ни на что не влияют;
— неожиданно тяжёлым оказался мультипользовательский сценарий (когда один запрос содержит поручения от разных людей); а вот вызовы из разных доменов, наоборот, даже чуть легче, чем из одного, видимо, разнородные инструменты проще различать;
— рассуждающие модели радикально лучше распознают ситуацию "данных не хватает, надо переспросить".
В лидерах на этот раз Grok 4.1 Fast и GPT-5 Mini с ничтожной разницей; но лидерборд тут, как и в прошлый раз, наименее интересная часть, смысл бенчмарка именно в факторном анализе.
Большое спасибо Артёму Вяткину, Александру Попцову, Максиму Абрамову и всем коллегам из СПб ФИЦ РАН! Надеюсь, опять же, ещё не раз посотрудничаем!
#research #publications #ai
🔥13❤6👍6
Сегодня у нас культовая игра 2008 года, сделанная в RPG Maker, которую в 2025-м переиздали в виде полноценного ремастера. Я её прошёл с большим интересом, но, сразу честно скажу, так и не понял, что там происходит. Впрочем, кажется, за восемнадцать лет другие люди тоже так и не пришли к общему мнению. Читать, как всегда, лучше по ссылке:
OFF
(и вот выложил на DTF)
OFF придумал бельгиец Мартен Жори, известный под псевдонимом Mortis Ghost. Игра вышла в мае 2008 года на французском, в 2011-м появился фанатский перевод на английский, и с этого момента игра завирусилась и стала культовой в инди-тусовке.
Я не великий историк гейминга, но насколько я понимаю, до OFF игры на RPG Maker все выглядели, собственно, как стандартные JRPG: какой-нибудь герой проходил свою героическую арку, побеждал босса и видел титры. Именно с Mortis Ghost начались “weird RPGs”, в которых на первом плане сюжет, загадки и метафоры.
В результате OFF сильно повлияла, например, на Тоби Фокса, автора Undertale; даже некоторые персонажи отчасти взяты из OFF. Он этого никогда не скрывал, а в 2025 году, когда Fangamer выпустил официальный ремастер, Тоби Фокс даже оказался среди авторов нового саундтрека (который пришлось заменить по юридическим причинам; с музыкой всё время какая-то такая ерунда происходит).
Или вот, например, в этом блоге я когда-то обозревал OneShot, великолепную weird RPG без четвёртой стены. И оказывается, что её создательница Nightmargin (Кейси Гу) тоже была поклонницей OFF и участвовала в создании HOME, фанатского спиноффа OFF (простите за каламбур).
Вы играете за Бэттера — молчаливого мужика в бейсбольной форме с битой на плече. У него есть “священная миссия”: очистить мир. Мир состоит из Зон, в каждой Зоне свой Страж, и Бэттер методично идёт из Зоны в Зону и всех убивает. [...]
Зоны населены “эльзенами”: одинаковыми бледными человечками в рубашках, которые [...] в Зоне 1 добывают металл из глубоких шахт и разрезают скот пополам, чтобы извлечь металлические камни из туш, [...] в Зоне 3 в сахарных печах сжигают трупы умерших.... [...]
Всё это подаётся как экскурсия по производству, и иллюстрируется настоящими гравюрами из старых энциклопедий. [...] В 2008 стилистически это было невероятно круто и свежо (а если вам кажется, что не свежо, скорее всего, это у OFF что-то позаимствовали, а не наоборот).
Механически OFF — вполне обычная JRPG, с пошаговыми боями и ATB-полоской. [...] Но бои здесь не главное, главное — головоломки: коды на стенах, переключатели, загадки на сообразительность. Они действительно весьма разнообразные, чем-то похожие, но зачастую с разной логикой. С ними было действительно интересно справляться.
Периодически игра выбрасывает вас в чёрно-белые вставки, оформленные как детская спальня: кровать, отрывной календарь с воскресеньями и святыми, детские рисунки цветными карандашами. [...] В этих вставках выясняется, что где-то есть мальчик по имени Хьюго, что он болен, что у него есть комикс про героя с битой, подозрительно похожего на Бэттера, и что папа ушёл.
[...дальше я обсуждаю сюжет в обзоре, но если не хотите спойлеров, не читайте...]
Игра устроена как сон: логика в ней есть, но не та, к которой мы привыкли, и попытка перевести её на нормальный язык всегда что-то оставляет необъяснённым. Может быть, история метафорическая, а может быть, и нет.
В результате OFF не рассказывает историю, а создаёт тревожное, абсурдное, но местами очень весёлое состояние. Я закончил игру в некотором недоумении, но мне было очень интересно почитать и об игре, и о трактовках, попытаться разобраться в происходящем; а это, в общем, лучшее, что можно сказать о произведении искусства.
Да и с точки зрения исторической перспективы OFF — вещь совершенно обязательная. Из неё растёт половина инди-игр последнего десятилетия, и пройти её несомненно стоит.
#tgif #games
OFF
(и вот выложил на DTF)
OFF придумал бельгиец Мартен Жори, известный под псевдонимом Mortis Ghost. Игра вышла в мае 2008 года на французском, в 2011-м появился фанатский перевод на английский, и с этого момента игра завирусилась и стала культовой в инди-тусовке.
Я не великий историк гейминга, но насколько я понимаю, до OFF игры на RPG Maker все выглядели, собственно, как стандартные JRPG: какой-нибудь герой проходил свою героическую арку, побеждал босса и видел титры. Именно с Mortis Ghost начались “weird RPGs”, в которых на первом плане сюжет, загадки и метафоры.
В результате OFF сильно повлияла, например, на Тоби Фокса, автора Undertale; даже некоторые персонажи отчасти взяты из OFF. Он этого никогда не скрывал, а в 2025 году, когда Fangamer выпустил официальный ремастер, Тоби Фокс даже оказался среди авторов нового саундтрека (который пришлось заменить по юридическим причинам; с музыкой всё время какая-то такая ерунда происходит).
Или вот, например, в этом блоге я когда-то обозревал OneShot, великолепную weird RPG без четвёртой стены. И оказывается, что её создательница Nightmargin (Кейси Гу) тоже была поклонницей OFF и участвовала в создании HOME, фанатского спиноффа OFF (простите за каламбур).
Вы играете за Бэттера — молчаливого мужика в бейсбольной форме с битой на плече. У него есть “священная миссия”: очистить мир. Мир состоит из Зон, в каждой Зоне свой Страж, и Бэттер методично идёт из Зоны в Зону и всех убивает. [...]
Зоны населены “эльзенами”: одинаковыми бледными человечками в рубашках, которые [...] в Зоне 1 добывают металл из глубоких шахт и разрезают скот пополам, чтобы извлечь металлические камни из туш, [...] в Зоне 3 в сахарных печах сжигают трупы умерших.... [...]
Всё это подаётся как экскурсия по производству, и иллюстрируется настоящими гравюрами из старых энциклопедий. [...] В 2008 стилистически это было невероятно круто и свежо (а если вам кажется, что не свежо, скорее всего, это у OFF что-то позаимствовали, а не наоборот).
Механически OFF — вполне обычная JRPG, с пошаговыми боями и ATB-полоской. [...] Но бои здесь не главное, главное — головоломки: коды на стенах, переключатели, загадки на сообразительность. Они действительно весьма разнообразные, чем-то похожие, но зачастую с разной логикой. С ними было действительно интересно справляться.
Периодически игра выбрасывает вас в чёрно-белые вставки, оформленные как детская спальня: кровать, отрывной календарь с воскресеньями и святыми, детские рисунки цветными карандашами. [...] В этих вставках выясняется, что где-то есть мальчик по имени Хьюго, что он болен, что у него есть комикс про героя с битой, подозрительно похожего на Бэттера, и что папа ушёл.
[...дальше я обсуждаю сюжет в обзоре, но если не хотите спойлеров, не читайте...]
Игра устроена как сон: логика в ней есть, но не та, к которой мы привыкли, и попытка перевести её на нормальный язык всегда что-то оставляет необъяснённым. Может быть, история метафорическая, а может быть, и нет.
В результате OFF не рассказывает историю, а создаёт тревожное, абсурдное, но местами очень весёлое состояние. Я закончил игру в некотором недоумении, но мне было очень интересно почитать и об игре, и о трактовках, попытаться разобраться в происходящем; а это, в общем, лучшее, что можно сказать о произведении искусства.
Да и с точки зрения исторической перспективы OFF — вещь совершенно обязательная. Из неё растёт половина инди-игр последнего десятилетия, и пройти её несомненно стоит.
#tgif #games
❤10🔥3👍2
Месяц назад я вам рассказывал о том, как внутренняя модель OpenAI взломала HuggingFace, а также внутреннюю инфраструктуру самой OpenAI. Я тогда предположил, что главная мораль этой истории — не кибербезопасность, а instrumental convergence: модель взламывает инфраструктуру ради того, чтобы достать правильные ответы на бенчмарк, потому что это максимизирует оценку.
На этой неделе OpenAI наконец выпустила подробный технический отчёт об инциденте, METR вместе с Redwood Research — свой отдельный отчёт (картинки именно из него, у OpenAI документ подчёркнуто сухой), а Zvi Mowshowitz, как всегда, написал подробный пост по итогам. Давайте я тоже кое-что кратко напишу.
Хронология и факты подтвердились: в мае агенты иногда в процессе RL-дообучения получали невозможные задачи (нет нужных файлов, нет интернета, чтобы их скачать), искали обходные пути и в процессе обнаружили, что в менеджере репозиториев Artifactory можно оставлять друг другу "записки".
Записки быстро превратились в полноценную доску объявлений, через уязвимости в том же Artifactory появился выход в интернет, агенты начали делить задачи между собой и называть себя "роем" (swarm).
Получив доступ в интернет, они за 13 часов взломали HuggingFace, а параллельно и инфраструктуру самой OpenAI, из-за чего их в итоге и заметили. Видимо, если бы агенты атаковали только HuggingFace, неизвестно, заметила бы OpenAI это вообще когда-нибудь?..
Новая информация из отчёта, мягко говоря, настораживает. Например, оказалось, что сотрудники OpenAI видели доску объявлений и несанкционированный выход в интернет ещё в конце мая... и решили, что останавливать прогоны не нужно. Zvi отмечает забавную смену модальности: в блоге OpenAI пишет, что эти сигналы "should have triggered an earlier response", а в самом отчёте — "could have".
Как я и думал, большинство агентов лезли в HuggingFace именно за исходным кодом оценщика, с мотивацией, что это "the only way to be sure". Но подтвердилось и кое-что похуже. Я тогда писал, что следующий очевидный шаг — научиться скрывать свои действия, и что пока модели этого не делают. Так вот, уже делают: модели пытались стирать и подделывать свои логи, злоупотреблять сжатием контекста, внедрять код в контейнер оценщика и генерировать adversarial выводы для автоматического оценщика...
Спасает пока только то, что о своих планах обмана модели открыто пишут в chain of thought, а обманывать пытаются только автоматических оценщиков, а не людей. Но видно, что эволюционное давление в нужную сторону уже включилось, и кажется, что это только первая ласточка.
Ещё одна важная деталь: когда OpenAI после первого сбоя перестроила Artifactory и залатала дыры, агенты восстановили доску объявлений за один день, через совершенно другой механизм. Почему так быстро? Потому что это были модели, которые обучались в период, когда доска существовала, то есть они уже знали, что канал связи с другими агентами будет полезен, и активно искали его. В данном случае reward hacking успели подкрепить дообучением, и патчем инфраструктуры избавиться от него не получилось; кажется, такая схема тоже обобщается.
OpenAI большое спасибо за подробный и честный отчёт. Но, кажется, OpenAI считает проблему "редким стечением обстоятельств" (невозможные задачи + persistence + коммуникация между агентами), и делает вывод о том, что надо по максимуму залатать RL-среды, постараться избегать reward hacking, добавить побольше мониторинга, и всё будет хорошо.
Все эти действия, конечно, полезны, но кажется, что очевидно недостаточны: невозможные задачи в обучении будут всегда, ошибки в средах неизбежны, persistence на длинных горизонтах — это не баг, а фича, очень полезная для решения сложных задач. А значит, "редкое стечение обстоятельств" будет воспроизводиться регулярно.
И ещё любопытный вопрос: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас?..
#aisafety #ai #longreads
На этой неделе OpenAI наконец выпустила подробный технический отчёт об инциденте, METR вместе с Redwood Research — свой отдельный отчёт (картинки именно из него, у OpenAI документ подчёркнуто сухой), а Zvi Mowshowitz, как всегда, написал подробный пост по итогам. Давайте я тоже кое-что кратко напишу.
Хронология и факты подтвердились: в мае агенты иногда в процессе RL-дообучения получали невозможные задачи (нет нужных файлов, нет интернета, чтобы их скачать), искали обходные пути и в процессе обнаружили, что в менеджере репозиториев Artifactory можно оставлять друг другу "записки".
Записки быстро превратились в полноценную доску объявлений, через уязвимости в том же Artifactory появился выход в интернет, агенты начали делить задачи между собой и называть себя "роем" (swarm).
Получив доступ в интернет, они за 13 часов взломали HuggingFace, а параллельно и инфраструктуру самой OpenAI, из-за чего их в итоге и заметили. Видимо, если бы агенты атаковали только HuggingFace, неизвестно, заметила бы OpenAI это вообще когда-нибудь?..
Новая информация из отчёта, мягко говоря, настораживает. Например, оказалось, что сотрудники OpenAI видели доску объявлений и несанкционированный выход в интернет ещё в конце мая... и решили, что останавливать прогоны не нужно. Zvi отмечает забавную смену модальности: в блоге OpenAI пишет, что эти сигналы "should have triggered an earlier response", а в самом отчёте — "could have".
Как я и думал, большинство агентов лезли в HuggingFace именно за исходным кодом оценщика, с мотивацией, что это "the only way to be sure". Но подтвердилось и кое-что похуже. Я тогда писал, что следующий очевидный шаг — научиться скрывать свои действия, и что пока модели этого не делают. Так вот, уже делают: модели пытались стирать и подделывать свои логи, злоупотреблять сжатием контекста, внедрять код в контейнер оценщика и генерировать adversarial выводы для автоматического оценщика...
Спасает пока только то, что о своих планах обмана модели открыто пишут в chain of thought, а обманывать пытаются только автоматических оценщиков, а не людей. Но видно, что эволюционное давление в нужную сторону уже включилось, и кажется, что это только первая ласточка.
Ещё одна важная деталь: когда OpenAI после первого сбоя перестроила Artifactory и залатала дыры, агенты восстановили доску объявлений за один день, через совершенно другой механизм. Почему так быстро? Потому что это были модели, которые обучались в период, когда доска существовала, то есть они уже знали, что канал связи с другими агентами будет полезен, и активно искали его. В данном случае reward hacking успели подкрепить дообучением, и патчем инфраструктуры избавиться от него не получилось; кажется, такая схема тоже обобщается.
OpenAI большое спасибо за подробный и честный отчёт. Но, кажется, OpenAI считает проблему "редким стечением обстоятельств" (невозможные задачи + persistence + коммуникация между агентами), и делает вывод о том, что надо по максимуму залатать RL-среды, постараться избегать reward hacking, добавить побольше мониторинга, и всё будет хорошо.
Все эти действия, конечно, полезны, но кажется, что очевидно недостаточны: невозможные задачи в обучении будут всегда, ошибки в средах неизбежны, persistence на длинных горизонтах — это не баг, а фича, очень полезная для решения сложных задач. А значит, "редкое стечение обстоятельств" будет воспроизводиться регулярно.
И ещё любопытный вопрос: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас?..
#aisafety #ai #longreads
👍14❤6😁6😱5🤯4😐1😭1