Нарушу размеренное течение контента необычным видео. Месяца полтора назад меня позвали гостем в телепередачу "Очевидно. Вероятно" на ОТР. Позвал, вероятно (очевидно!), собственно Арутюн Ишханович Аветисян, ведущий передачи, которому за это спасибо! И вот передача вышла:

Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)

Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.

Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)

#publications #press #talks

Расскажу вам сегодня о ещё одном деле, которым я уже довольно давно занимаюсь.

ПОМИ РАН (математический институт, это моё основное и нежно любимое место работы) выпускает журнал "Записки научных семинаров ПОМИ". Журнал хороший, входит во всевозможные "белые списки" в России, а за рубежом переводится и выходит в Springer как часть Journal of Mathematical Sciences. Конечно, у JMS нет никакого хорошего импакт-фактора, ведь в нём выходит всё подряд из многих разных источников, но всё равно, сам факт перевода в Springer — это уже некоторый знак качества.

И вот с 2021 года я стал редактором серии "Исследования по прикладной математике и информатике". Первый том (т.499 журнала) мы делали вместе с соредакторами Сергеем Игоревичем Репиным и Марией Александровной Скопиной, но быстро стало понятно, что темы у нас всё равно совсем разные, и тома разделились.

А заодно и нашёлся основной источник контента. Здесь большое спасибо Валентину Малых, с которым мы договорились каждый год публиковать в "Записках ПОМИ" лучшие статьи с конференции AINL: Artificial Intelligence and Natural Language Conference, которая в основном относится к постсоветскому пространству. AINL стала основным содержанием следующих моих выпусков: том 529, том 530, том 540, и вот последний, вышедший в конце прошлого года том 546.

Кстати, "Записки ПОМИ" выходят и в бумажном виде; я сейчас, понятное дело, всю коллекцию не могу показать, но пару фотографий прилагаю. Я человек старомодный, мне всегда приятно подержать в руках физический результат.

К чему я вам об этом рассказываю? К тому, что хотя AINL по-прежнему наверняка будет основным содержанием тома "Записок" каждый год, постепенно начинают появляться и другие источники статей. Например, прямо сейчас собираю новый том, в котором будет несколько моих собственных обзоров и несколько статей, присланных помимо AINL.

Так что, коллеги-машиннообучатели, обращайтесь и присылайте статьи! Конечно, "Записки ПОМИ" — это не A*-конференция, по-настоящему крутые результаты лучше отправить на ICML или NeurIPS, а не сюда. Но если у вас есть что-нибудь уровня вот как раз примерно AINL, буду рад рассмотреть.

Пока есть возможность попасть даже в ближайший том, но для этого надо прямщас прислать статью. И ещё маленькая просьба — если вы это читаете, и у вас должна быть статья в ближайшем томе, напомните мне про неё, пожалуйста; боюсь, что если мы о чём-то договаривались месяцы назад и не подтверждались недавно, то я уже всё забыл.

#ai #publications #zapiski

Пост готов, извольте кушать! Здесь, как всегда, только краткое саммари, а читать во всех подробностях надо тут:

Recoverable but not stationary: линейные структуры в весах и активациях

У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“ [...]

Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными. [...]

Линейное дообучение. Чтобы подкрутить поведение обученной модели, часто достаточно сдвинуть веса или активации вдоль одного линейного направления — так устроены task vectors, model soups, TIES, LoRA, а в пространстве активаций — activation steering, function vectors, representation engineering, ReFT. А недавние "neural thickets" и вовсе показывают, что вокруг предобученной модели плотно растут полезные направления, которые находит даже случайный поиск. Какая линейная структура реально есть в обученной сети, где она живёт и как далеко по ней можно двигаться?

Восстановление после забывания. Чтобы получить честный "правильный ответ", мы устроили специальный цикл: обучаем сеть на смеси задач, доучиваем на одной (остальные забываются), а потом несколькими шагами градиента восстанавливаем. Сдвиг этого восстановления и есть цель, с которой мы сравниваем кандидатов на "правильное подпространство" — локальное подпространство задачи, префикс траектории и крыловский базис.

Теория. Мы объясняем, почему случайный поиск вообще что-то находит в пространстве на миллиард весов: проекция случайного возмущения на полезное направление не зависит от размерности, а best-of-N усиливает её, почти не задевая соседние задачи — польза концентрируется, вред размазывается. Здесь есть прямо теоремы, хоть и простенькие.

Что показывают эксперименты: три масштаба. На синтетическом трансформере подпространство задачи действительно "уезжает" по ходу восстановления. На LoRA-адаптерах — главный количественный результат, точно подтверждающий теорию. На больших LLM картина более мутная, зато связь с активациями работает красиво.

Более широкая проверка. Мы сделали и более крупный независимый стресс-тест (кстати, во многом силами AI-агентов). И всё устояло: геометрия восстановления воспроизводится, префикс остаётся особым низкоразмерным объектом, и мы даже новый результат увидели, о том, что префикс — это вообще не крыловское подпространство.

Как всё это складывается вместе. Попробую теперь собрать общую картину.

Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector).

Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. [...] Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях. [...]

Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований.

В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди!

#blog #ai #longreads #research #publications

Не знал что вам сегодня написать, но тут мне напомнили про статью, которая у нас с коллегами вышла ещё в апреле: “The AI Interviewer: Multi-Faceted Evaluation of Adaptive Questioning by Large Language Models”. Совсем не по математике и не по CS, зато про LLM'ки. Давайте вам о ней кратенько расскажу; вот полная версия поста:

The AI Interviewer: LLM как психолог-исследователь

Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.

Постановка задачи

LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.

Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).

Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?

Что сделали

Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.

На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.

Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.

Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.

Результаты

Получились на удивление внятные профили:

— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;

— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;

— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);

— Claude Sonnet 4 — сбалансированная универсальная модель;

— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);

— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.

Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.

Заключение

Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.

Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.

Большое спасибо соавторам!

#ai #research #longreads #blog #publications

Недавно рассказывал вам про статью "The AI Interviewer" о том, как LLM работают интервьюерами в психологических исследованиях. А теперь в IEEE Access вышла следующая статья примерно тех же авторов:

Toward Psychological Digital Twins: Evaluating Large Language Models for Simulating Assessment Responses from Interview Data

Задача здесь обратная: если раньше LLM задавала вопросы, то теперь она на них отвечает — за человека. Разумеется, речь не о том, чтобы принимать какие-то решения о конкретных людях, а об аппроксимации отдельных психологических измерений на уровне больших групп. Digital twins — большое направление в современной психологии.

У нас модель получала транскрипт большого полуструктурированного интервью (те же 54 вопроса про жизнь, ценности, работу и т.д.; интервью проводил тот самый LLM-интервьюер из первой статьи) и должна заполнить за респондента психологические опросники: Big Five, тёмную триаду, ценности по Шварцу, моральные основания и прочее — всего 7 инструментов, 38 шкал. Это и называется "психологическим цифровым двойником".

Главное отличие от первой статьи — здесь всё на реальных данных: 645 русскоязычных участников прошли и интервью, и все опросники, так что предсказания моделей можно напрямую сравнивать с настоящими ответами. Насколько мы знаем, это первая не-англоязычная масштабная валидация LLM-респондентов. Моделей пять: GPT-5, Gemini 2.5 Pro, Qwen3-235B и две версии Kimi-K2.

Подробный пост писать не буду, коротко о результатах:

— точность сильно зависит от конструкта: религиозность (r = 0.67), экстраверсия (0.63), нейротизм (0.61) предсказываются вполне прилично, а гедонизм и proportionality — почти никак; это логично: что-то люди прямо проговаривают в интервью, но до латентных конструктов модель не дотягивается; справедливости ради, живой психолог по тем же транскриптам вряд ли справился бы лучше;

— GPT-5, конечно, лучше всех, но Kimi-K2-Thinking на нескольких шкалах подтягивается;

— у всех моделей систематический positivity bias: они завышают доброжелательность и добросовестность и в упор отказываются верить, что респондент может быть нарциссом или макиавеллистом (тёмная триада занижается на несколько баллов); скорее всего, это большой привет alignment fine tuning; впрочем, ранжируют людей модели всё равно неплохо, только абсолютным баллам верить нельзя;

— маленьким моделям помогает урезание контекста до релевантных кусков интервью, а большие лучше работают с полным транскриптом.

Мораль вынесена прямо в заголовок: toward psychological digital twins, но пока ещё мы не там. Хотя зависит, конечно, от задачи.

Как всегда, спасибо соавторам!

#ai #research #blog #publications

Начинаю понемногу закрывать бэклог. Сегодня расскажу о том, что две недели назад вышел (пока онлайн) очередной том "Записок научных семинаров ПОМИ" под моей редакцией:

Том 552, "Исследования по прикладной математике и информатике. VI"

Моё участие как редактора "Записок" начиналось с идеи Валентина Малых о том, что надо бы где-то опубликовать журнальные версии лучших статей конференции AINL; поначалу почти ничего другого в моих томах и не было.

Мы это до сих пор делаем, и ближе к Новому Году я надеюсь подготовить новый том с AINL этого года. Но вот текущий том, 552-й, уже совсем другой по сути. Туда я действительно принимал статьи от коллег и знакомых, не объявлял официально call for papers (нет сил разгребать большой поток), но и так статей получилось немало, томик на 400 страниц вышел.

Рад, например, что начали присылать статьи сотрудники лаборатории Маркова СПбГУ, теперь вот в моём томе даже филдсовский лауреат опубликовался, плюс есть статьи не только про машинное обучение, но и, например, про коммуникационную сложность.

В этом томе вышел мой большой обзор в двух частях про influence functions, может быть, расскажу о нём отдельно потом. А пока вот, enjoy; и если вдруг у вас есть интересные статьи по машинному обучению, пишите; официального call for papers по-прежнему лучше не ждать.) Думаю, следующий том будет или в самом конце этого года, или в начале следующего.

#ai #publications #zapiski #research

Я вам столько рассказывал про великие достижения фронтирных LLM, что самому захотелось попробовать. Чем я хуже Дмитрия Рыбина, в конце концов, что ж я "you should do a breakthrough" не смогу написать?..

Пока оказывается, что я всё-таки хуже описанных на прошлой неделе трёх случаев в том смысле, что нет у меня такой же невероятной интуиции о том, какая известная гипотеза может упасть под натиском современных моделей. Из моих самостоятельных поисков с совсем другими гипотезами пока ничего суперкрутого не получилось.

Но зато получилось воспользоваться интуицией Дмитрия Рыбина! :) Один из долгих разговоров с Claude Fable и GPT 5.6 привёл к тому, что мы смогли существенно улучшить его нижнюю оценку на overload при переходе к неделимым потокам в графах, то есть придумать новую систему контрпримеров к гипотезе Диница — Гарга — Гёманса. И вот сегодня я ещё раз всё внимательно проверил, записал, выложил результат к себе в репозиторий и подал на arXiv.

В последнее время arXiv у меня уже два раза отправлял статьи on hold, и первая из них лежит on hold уже полтора месяца (!). Я не уверен точно, что это значит, вероятно, хотят проверить, не LLM ли статью написала (интересно как?). Уверен, что это arXiv не против меня лично что-то имеет — за эти полтора месяца я ещё три статьи туда выложил вполне успешно — но эта тоже может случайно оказаться on hold.

Так что выкладываю текст, поданный на arXiv, сразу же и в репозиторий:

A Planar Lower Bound 1.1397... > 9/8 for Cost-Preserving Single-Source Unsplittable Flows

Любая внешняя пара глаз крайне приветствуется. Здесь рассуждения всё ещё очень простые, и я вроде бы действительно всё от начала до конца внимательно проверил, но чёрт его знает, ошибаются и LLM, и люди, и тем более люди, заинтересованные в том, чтобы результат таки получился.

Разумеется, там есть и такой раздел:

AI use. This counterexample and its accompanying theoretical evaluation have been produced in close collaboration with frontier LLMs, specifically GPT-5.6 Sol, Claude Fable 5, and Claude Opus 5. While I cannot boast the same kind of "chad prompting" as Dmitry Rybin (his discussion contained four short prompts, including the now-famous "You should do a breakthrough"), as my discussions took longer and were more involved, I would like to express my respect for and amazement at the capabilities of frontier AI models. This is their work much more than my own.

#research #math #ai #publications

Ну что ж, я в целом дошёл до некоторой точки: найденное позавчера новое семейство контрпримеров к гипотезе Диница — Гарга — Гёманса теперь понятно как устроено. Это оказались семейства пересекающихся целочисленных интервалов, которые задают пути до терминалов, точнее, ответвления к терминалам от главной "большой дороги" (в этом семействе до каждого терминала ровно два пути).

В итоге нижняя оценка уже от позавчерашних 1.1397... дошла до 1.28249..., а предел возможного для этого семейства, видимо, 4/3, точнее 4/3 — 1/k для k терминалов в графе, то есть очень большим вычислением можно было бы сделать 4/3 — ε (но надрываться и искать конкретные большие графы уже незачем, нового они ничего не скажут).

Интересно, что начали появляться и структурные результаты, и верхние оценки, и какая-то более-менее стройная теория. Я целый день вчера и утром сегодня старательно всю теорию вычитывал и перепроверял, и мне кажется, что там всё верно. Конечно, я могу ошибаться, но если честно, для структурных результатов это пока не очень принципиально: верхнюю оценку для всех графов мы не получили, оценку 2 для планарных графов не сдвинули, все верхние оценки там по сути для того конкретного семейства, из которого мои контрпримеры. Так что это не очень интересные результаты — хотя мне понравилось, как внезапно возникли не только семейства интервалов, но ещё и двусторонние округления Кнута из девяностых.

А вот нижнюю оценку проверять гораздо проще, а ещё можно перепроверить независимым полным перебором; так что в ней я уверен, и рекорд тут обновился сильно. Всё записали, графы и соответствующие им интервальные семейства нарисовали, препринт я вручную переписал и на Zenodo выложил:

Deletion-Star Ceilings and a 1.28249 Lower Bound for Cost-Preserving Single-Source Unsplittable Flows

(код и сертификаты всё в том же репозитории: https://github.com/snikolenko/unsplittable-flows )

Это была славная охота! Пока немного выдохну, а то вот опять приходится подвинуть обзор игры с пятницы.) Но постараюсь это направление не бросать и всё-таки прийти к каким-нибудь интересным теоремам и, возможно, верхним оценкам, а не только к одному семейству контрпримеров. В твиттер о результате написал, автор оригинального "You should do a breakthrough" Дмитрий Рыбин откликнулся позитивно, так что считаю, что то, что надо было сделать срочно, я уже сделал, а теперь можно спокойно подумать вокруг.

Дивный новый мир! Последние сутки были очень интересные, как в математическую юность свою снова вернулся. Это, конечно, далеко не самый яркий AI-assisted результат из последних пары недель, а всего лишь продолжение чужого прорыва. Например, пока я это всё записывал, новая система от Тенсент сравняла нижнюю оценку экспоненты, связывающей суммы и разности множеств, с верхней, закрыв важный вопрос с 60-летней историей. А задачу о (не)дистиллируемости состояний Вернера (это что-то на квантовом, но тоже очень важно) решили одновременно три группы учёных с разницей в считанные дни, а то и часы. Боюсь, что уже никаких сил не хватит в блоге всё это описывать подробно.

Но это всё равно было очень крутое ощущение. Хочется и продолжать, и повторять.

This is the least sci-fi the world will ever be.

#research #math #ai #publications

Я вам много рассказываю про великие достижения фронтирных LLM, но у скромного меня тоже кое-какие статьи выходят в последнее время. Надеюсь, что о них вам тоже буду рассказывать постепенно.

Сегодня начну с самого неожиданного результата. Я, как некоторые знают, работаю в том числе в Центре искусственного интеллекта СПбГУ. Там среди прочего есть и индустриальные партнёры, и с одним из них я как раз работал над этим проектом. Не знаю, могу ли раскрывать название партнёра, в статье попросили не упоминать, так что на всякий случай и здесь не буду.

Задача была в том, чтобы... ловить людей, которые воруют электричество. Кроме шуток, это распространённая практика: люди ставят шунт или делают ещё какую-то модификацию со счётчиком, и в результате счётчик как бы работает, но показывает гораздо меньше, чем на самом деле. Собственно шунтирование по сути умножает потребление на константу (меньшую единицы, разумеется), так что если у вас счётчик шунтирован с самого начала, по графику потребления заметить это никак невозможно, все профили потребления будут совершенно обычные, просто в N раз меньше.

Но если счётчик шунтировали в какой-то момент, попадающий внутрь истории наблюдений, то заметить это анализом графиков потребления вполне даже можно. Только надо учесть естественную сезонность: сделать дневной профиль (данные там получасовые обычно) и решить что-то вроде робастной регрессии с одним неизвестным (тем самым коэффициентом сокращения), прогоняя эту регрессию по истории счётчика (подставляя разные варианты того, когда шунтирование произошло). После такого прогона можно посмотреть, не найдётся ли там чётко видный выброс, который покажет, что вот при этом значении потенциального момента шунтирования эта регрессия описывает данные ну просто чертовски хорошо.

Это очень нехитрая мысль, дело осложняется только тем, что такого рода данные всегда довольно грязные, так что к этой простой мысли ещё добавляется куча всяких фильтров, гейтов, проверок и тому подобного. Но в целом проект был хоть и довольно продолжительный (так всегда бывает, то одно, то другое...), но по сути не то чтобы какой-то прорывной. Но индустриальный партнёр вроде бы остался доволен, и в данном случае это главное.

А теперь самое любопытное: Центр ИИ меня попросил всё-таки записать то, что я сделал по этой задаче, в виде статьи, и подать её куда-нибудь. Ну я записал и подал, причём для первого раза решил не мелочиться и подал сразу в Smart Cities, журнал с импакт-фактором около 6-7; я в этих темах не особенно разбираюсь, но кажется, что это реально один из лучших подходящих журналов.

И... её приняли! :) Вот, вышла в конце июня:

Physics-Guided Detection of Multiplicative Under-Registration in Smart Meter Time Series Under Smart-City Confounders

Сам удивляюсь, как так получилось, но факт. Большое спасибо коллегам из индустриального партнёра, коллегам из Центра ИИ и особенно Лизе Тарасовой за координацию и мотивацию.)

#research #publications #ai

Вчера в деньрожденческом посте вспомнил про олимпиады, и вспомнил, что у меня же действительно есть для вас большой текст об этом!

Ещё под новый 2026 год мне написали из редакции журнала "Математическое просвещение". Это журнал с очень богатой и интересной историей. Его начинали издавать три раза: в 1930-х, в 1950-х и вот теперь третий раз с 1997 года.

У него есть сайт, который выглядит, конечно, невзрачно, но зато содержит все выпуски журнала, из всех трёх его серий, так что это дело совершенно бесценное.

И вот меня попросили — вероятно, увидев мои околопопулярные доклады про AI в науке, — написать статью про AI в олимпиадной математике. Ну я и написал, статья в итоге вышла в 37 выпуске журнала:

Искусственный интеллект и олимпиадная математика

Правда, вся эта история, конечно, забавной получилась по нынешним временам. Мы договорились около Нового года, что статью я напишу где-то к марту, соответственно в марте я её доредактировал, а вышла она вот только сейчас, в конце июля.

Так что пришлось дописывать туда уже при вёрстке постскриптум о том, что задачи с IMO 2026 у ведущих LLM, в том числе общедоступных, уже никаких проблем не вызвали. А сноска 2, которую я тут вам тоже прилагаю, очень, очень пригодилась!)

Но всё равно приятно прикоснуться к таким традициям. Когда статья окончательно финализировалась, мы с редактором (спасибо, Борис!) обсуждали следующие планы и говорили, что надо бы написать про гипотезу о единичных расстояниях... йэх, sweet summer children. Но вообще про vibe math написать туда было бы, конечно, хорошо; разве что не очень понятно, как об этом писать так, чтобы выдержать проверку временем хотя бы на уровне нескольких месяцев.

#publications #ai #popular #math

Сегодня продолжу рассказывать про свои недавние статьи. Вот, например, порекламирую работу моего аспиранта Вадима Ломшакова и ещё одного моего аспиранта (правда, больше формального) Андрея Подивилова:

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

Почти все бенчмарки для LLM-агентов сводят прогон к одному биту: решил задачу или нет. Для лидерборда это, может, и неизбежно, но человек, который работает с агентом целый день, видит всю траекторию: как агент следует инструкциям, как пользуется инструментами, проверяет ли за собой, как исправляет ошибки и что вообще пишет пользователю.

Агент может пройти формальную проверку, но быть невыносимым в "рабочей коммуникации"; а может в итоге так и не написать проходящую тесты программу, но по дороге сделать кучу полезного. А для задач вроде "напиши документацию" бинарного критерия успеха и вовсе не существует.

AgentLens — это попытка сделать систему, которая оценивает именно траектории. Каждый прогон получает формальную верификацию там, где она возможна (тесты, проверки состояния репозитория и т.д.), плюс отзывы LLM-судей по пяти измерениям: итоговый результат, следование инструкциям, разные ловушки (pitfalls), в которые можно попасться, качество работы с инструментами и просто насколько приятно человеку с агентом взаимодействовать.

Одна из главных идей в том, что LLM-судья не только ставит оценку, но и пишет связный текстовый отзыв со ссылками на конкретные места в траектории, так что любой балл хорошо мотивирован, и эту мотивацию можно реально прочитать. Пользователя в нашей статье, кстати, тоже симулирует LLM — с разными персонами, включая пользователя слегка токсичного.

В полученном лидерборде на первом месте Opus 4.7, но это довольно скучный результат. Самое интересное — что по отзывам часто видны важные подробности. Например, Kimi K2.6 оказался на последнем месте, и по цифрам это выглядит как "слабая модель"; но отзыв судьи по tool calls показывает, что почти все ошибки — это один и тот же баг парсинга аргументов на стороне OpenRouter, а когда аргументы доходили нормально, агент работал вполне прилично.

Ещё один любопытный результат — self-preference судей: если сравнивать GPT-5.5 и Sonnet 4.6 их же собственными судьями, каждый судья заметно чаще предпочитает свою модель. Это ожидаемо, но забавно, что половина этого эффекта — в той самой крайне субъективной метрике Pleasantness.) Впрочем, победителя в среднем это не меняет.

Весь код выложен в соответствующем репозитории, и есть даже отдельная страничка про AgentLens и пост от авторов из Explyt.

Спасибо Вадиму Ломшакову, Андрею Подивилову и другим соавторам! Надеюсь, ещё поработаем вместе.

#research #publications #ai

Продолжаю про недавние статьи — и по забавному совпадению снова про бенчмарк для агентов, но совсем с другой стороны и с совсем другой группой авторов.

В прошлый раз я рассказывал про AgentLens, который мы делали с Вадимом Ломшаковым и Андреем Подивиловым; а эту работу сделали коллеги из лаборатории прикладного ИИ СПб ФИЦ РАН под руководством Максима Абрамова, и вышла она в IEEE Access:

MultiCAT-Bench: A Multi-Categorical Agent Tool Use Benchmark

AgentLens смотрел на агента в боевых условиях, пытаясь анализировать целые траектории, реалистичные задачи, живое (ну, симулированное, конечно) взаимодействие с пользователем. А MultiCAT-Bench — это, наоборот, "микроскоп": контролируемое измерение одной конкретной способности, вызова инструментов (function calling / tool use).

Но схожа идея углубиться в детали того, почему у агентов что-то не получается. Проблема существующих бенчмарков для tool use в том, что в них разные источники сложности перемешаны: непонятно, модель ошиблась потому, что вызовов было много, или потому, что параметры вложенные, или потому, что пользователь писал со сленгом и опечатками.

Поэтому мы генерируем задачи полностью автоматически, систематически варьируя десять разных факторов сложности: число вызовов и число доступных инструментов, число параметров и их опциональность, глубину вложенности, один или несколько пользователей в запросе, нужен ли вызов вообще (или нужно уточнить параметры, или ответить текстом), плюс синтаксический и семантический шум.

Получилось чуть меньше четырёх тысяч задач, и поскольку каждая задача размечена по всем осям, можно не просто мерить среднюю температуру по больнице, а раскладывать ошибки по факторам. На полученном бенчмарке прогнали десять моделей. Из результатов мне кажутся интересными вот какие:

— самый частый режим ошибок — пропуск; recall заметно ниже precision, то есть модели редко вызывают не то — они чаще не вызывают то, что нужно, или теряют аргументы;

— сложнее всего моделям даётся ширина, а не глубина; больше всего точность падает при росте числа вызовов в ответе (в ~1.6 раза), доли обязательных параметров и их числа, а вот вложенность параметров, число привязанных инструментов и даже лингвистический шум почти ни на что не влияют;

— неожиданно тяжёлым оказался мультипользовательский сценарий (когда один запрос содержит поручения от разных людей); а вот вызовы из разных доменов, наоборот, даже чуть легче, чем из одного, видимо, разнородные инструменты проще различать;

— рассуждающие модели радикально лучше распознают ситуацию "данных не хватает, надо переспросить".

В лидерах на этот раз Grok 4.1 Fast и GPT-5 Mini с ничтожной разницей; но лидерборд тут, как и в прошлый раз, наименее интересная часть, смысл бенчмарка именно в факторном анализе.

Большое спасибо Артёму Вяткину, Александру Попцову, Максиму Абрамову и всем коллегам из СПб ФИЦ РАН! Надеюсь, опять же, ещё не раз посотрудничаем!

#research #publications #ai