У нас с моим аспирантом Михаилом Широких (точнее, конечно, у него со мной) на днях вышел препринт "Sparse Prefix Caching for Hybrid and Recurrent LLM Serving". А я что-то не пишу сюда о том, какие у меня собственно статьи выходят, давайте буду исправляться, заодно вот и Мишу порекламирую.

Написал вот пост, в котором постарался популярно рассказать, о чём статья, да и вообще дать общее введение в тему:

Разреженное префиксное кеширование, или где расставлять чекпойнты в гибридных LLM

Пост не очень длинный, но в нём изрядное количество формул, так что я тут только оглавление приведу, а так читайте по ссылке.

1. Префиксное кеширование: общая идея

2. А если у нас не трансформер?

3. Идея разреженного префиксного кеширования

4. Где ставить чекпойнты?

— Случай 1: когда про распределение мы ничего не знаем
— Случай 2: распределение неравномерное
— Случай 3: оцениваем распределение по истории

5. Экспериментальные результаты

— Как выглядят реальные распределения
— Экономия токенов на длинных последовательностях
— Реальные измерения времени (wall-clock)
— Как выглядят расстановки на реальных данных

6. Выводы и что дальше

В общем, интересная наука, и я категорически желаю Мише дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.

#ai #blog #longreads #research

Пост готов, извольте кушать! Здесь, как всегда, только краткое саммари, а читать во всех подробностях надо тут:

Recoverable but not stationary: линейные структуры в весах и активациях

У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“ [...]

Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными. [...]

Линейное дообучение. Чтобы подкрутить поведение обученной модели, часто достаточно сдвинуть веса или активации вдоль одного линейного направления — так устроены task vectors, model soups, TIES, LoRA, а в пространстве активаций — activation steering, function vectors, representation engineering, ReFT. А недавние "neural thickets" и вовсе показывают, что вокруг предобученной модели плотно растут полезные направления, которые находит даже случайный поиск. Какая линейная структура реально есть в обученной сети, где она живёт и как далеко по ней можно двигаться?

Восстановление после забывания. Чтобы получить честный "правильный ответ", мы устроили специальный цикл: обучаем сеть на смеси задач, доучиваем на одной (остальные забываются), а потом несколькими шагами градиента восстанавливаем. Сдвиг этого восстановления и есть цель, с которой мы сравниваем кандидатов на "правильное подпространство" — локальное подпространство задачи, префикс траектории и крыловский базис.

Теория. Мы объясняем, почему случайный поиск вообще что-то находит в пространстве на миллиард весов: проекция случайного возмущения на полезное направление не зависит от размерности, а best-of-N усиливает её, почти не задевая соседние задачи — польза концентрируется, вред размазывается. Здесь есть прямо теоремы, хоть и простенькие.

Что показывают эксперименты: три масштаба. На синтетическом трансформере подпространство задачи действительно "уезжает" по ходу восстановления. На LoRA-адаптерах — главный количественный результат, точно подтверждающий теорию. На больших LLM картина более мутная, зато связь с активациями работает красиво.

Более широкая проверка. Мы сделали и более крупный независимый стресс-тест (кстати, во многом силами AI-агентов). И всё устояло: геометрия восстановления воспроизводится, префикс остаётся особым низкоразмерным объектом, и мы даже новый результат увидели, о том, что префикс — это вообще не крыловское подпространство.

Как всё это складывается вместе. Попробую теперь собрать общую картину.

Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector).

Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. [...] Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях. [...]

Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований.

В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди!

#blog #ai #longreads #research #publications

Не знал что вам сегодня написать, но тут мне напомнили про статью, которая у нас с коллегами вышла ещё в апреле: “The AI Interviewer: Multi-Faceted Evaluation of Adaptive Questioning by Large Language Models”. Совсем не по математике и не по CS, зато про LLM'ки. Давайте вам о ней кратенько расскажу; вот полная версия поста:

The AI Interviewer: LLM как психолог-исследователь

Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.

Постановка задачи

LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.

Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).

Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?

Что сделали

Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.

На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.

Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.

Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.

Результаты

Получились на удивление внятные профили:

— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;

— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;

— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);

— Claude Sonnet 4 — сбалансированная универсальная модель;

— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);

— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.

Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.

Заключение

Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.

Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.

Большое спасибо соавторам!

#ai #research #longreads #blog #publications

Недавно рассказывал вам про статью "The AI Interviewer" о том, как LLM работают интервьюерами в психологических исследованиях. А теперь в IEEE Access вышла следующая статья примерно тех же авторов:

Toward Psychological Digital Twins: Evaluating Large Language Models for Simulating Assessment Responses from Interview Data

Задача здесь обратная: если раньше LLM задавала вопросы, то теперь она на них отвечает — за человека. Разумеется, речь не о том, чтобы принимать какие-то решения о конкретных людях, а об аппроксимации отдельных психологических измерений на уровне больших групп. Digital twins — большое направление в современной психологии.

У нас модель получала транскрипт большого полуструктурированного интервью (те же 54 вопроса про жизнь, ценности, работу и т.д.; интервью проводил тот самый LLM-интервьюер из первой статьи) и должна заполнить за респондента психологические опросники: Big Five, тёмную триаду, ценности по Шварцу, моральные основания и прочее — всего 7 инструментов, 38 шкал. Это и называется "психологическим цифровым двойником".

Главное отличие от первой статьи — здесь всё на реальных данных: 645 русскоязычных участников прошли и интервью, и все опросники, так что предсказания моделей можно напрямую сравнивать с настоящими ответами. Насколько мы знаем, это первая не-англоязычная масштабная валидация LLM-респондентов. Моделей пять: GPT-5, Gemini 2.5 Pro, Qwen3-235B и две версии Kimi-K2.

Подробный пост писать не буду, коротко о результатах:

— точность сильно зависит от конструкта: религиозность (r = 0.67), экстраверсия (0.63), нейротизм (0.61) предсказываются вполне прилично, а гедонизм и proportionality — почти никак; это логично: что-то люди прямо проговаривают в интервью, но до латентных конструктов модель не дотягивается; справедливости ради, живой психолог по тем же транскриптам вряд ли справился бы лучше;

— GPT-5, конечно, лучше всех, но Kimi-K2-Thinking на нескольких шкалах подтягивается;

— у всех моделей систематический positivity bias: они завышают доброжелательность и добросовестность и в упор отказываются верить, что респондент может быть нарциссом или макиавеллистом (тёмная триада занижается на несколько баллов); скорее всего, это большой привет alignment fine tuning; впрочем, ранжируют людей модели всё равно неплохо, только абсолютным баллам верить нельзя;

— маленьким моделям помогает урезание контекста до релевантных кусков интервью, а большие лучше работают с полным транскриптом.

Мораль вынесена прямо в заголовок: toward psychological digital twins, но пока ещё мы не там. Хотя зависит, конечно, от задачи.

Как всегда, спасибо соавторам!

#ai #research #blog #publications

Начинаю понемногу закрывать бэклог. Сегодня расскажу о том, что две недели назад вышел (пока онлайн) очередной том "Записок научных семинаров ПОМИ" под моей редакцией:

Том 552, "Исследования по прикладной математике и информатике. VI"

Моё участие как редактора "Записок" начиналось с идеи Валентина Малых о том, что надо бы где-то опубликовать журнальные версии лучших статей конференции AINL; поначалу почти ничего другого в моих томах и не было.

Мы это до сих пор делаем, и ближе к Новому Году я надеюсь подготовить новый том с AINL этого года. Но вот текущий том, 552-й, уже совсем другой по сути. Туда я действительно принимал статьи от коллег и знакомых, не объявлял официально call for papers (нет сил разгребать большой поток), но и так статей получилось немало, томик на 400 страниц вышел.

Рад, например, что начали присылать статьи сотрудники лаборатории Маркова СПбГУ, теперь вот в моём томе даже филдсовский лауреат опубликовался, плюс есть статьи не только про машинное обучение, но и, например, про коммуникационную сложность.

В этом томе вышел мой большой обзор в двух частях про influence functions, может быть, расскажу о нём отдельно потом. А пока вот, enjoy; и если вдруг у вас есть интересные статьи по машинному обучению, пишите; официального call for papers по-прежнему лучше не ждать.) Думаю, следующий том будет или в самом конце этого года, или в начале следующего.

#ai #publications #zapiski #research

Я вам столько рассказывал про великие достижения фронтирных LLM, что самому захотелось попробовать. Чем я хуже Дмитрия Рыбина, в конце концов, что ж я "you should do a breakthrough" не смогу написать?..

Пока оказывается, что я всё-таки хуже описанных на прошлой неделе трёх случаев в том смысле, что нет у меня такой же невероятной интуиции о том, какая известная гипотеза может упасть под натиском современных моделей. Из моих самостоятельных поисков с совсем другими гипотезами пока ничего суперкрутого не получилось.

Но зато получилось воспользоваться интуицией Дмитрия Рыбина! :) Один из долгих разговоров с Claude Fable и GPT 5.6 привёл к тому, что мы смогли существенно улучшить его нижнюю оценку на overload при переходе к неделимым потокам в графах, то есть придумать новую систему контрпримеров к гипотезе Диница — Гарга — Гёманса. И вот сегодня я ещё раз всё внимательно проверил, записал, выложил результат к себе в репозиторий и подал на arXiv.

В последнее время arXiv у меня уже два раза отправлял статьи on hold, и первая из них лежит on hold уже полтора месяца (!). Я не уверен точно, что это значит, вероятно, хотят проверить, не LLM ли статью написала (интересно как?). Уверен, что это arXiv не против меня лично что-то имеет — за эти полтора месяца я ещё три статьи туда выложил вполне успешно — но эта тоже может случайно оказаться on hold.

Так что выкладываю текст, поданный на arXiv, сразу же и в репозиторий:

A Planar Lower Bound 1.1397... > 9/8 for Cost-Preserving Single-Source Unsplittable Flows

Любая внешняя пара глаз крайне приветствуется. Здесь рассуждения всё ещё очень простые, и я вроде бы действительно всё от начала до конца внимательно проверил, но чёрт его знает, ошибаются и LLM, и люди, и тем более люди, заинтересованные в том, чтобы результат таки получился.

Разумеется, там есть и такой раздел:

AI use. This counterexample and its accompanying theoretical evaluation have been produced in close collaboration with frontier LLMs, specifically GPT-5.6 Sol, Claude Fable 5, and Claude Opus 5. While I cannot boast the same kind of "chad prompting" as Dmitry Rybin (his discussion contained four short prompts, including the now-famous "You should do a breakthrough"), as my discussions took longer and were more involved, I would like to express my respect for and amazement at the capabilities of frontier AI models. This is their work much more than my own.

#research #math #ai #publications

Wow, история с архивом приобретает очень интересный оборот. Новая ачивка: я теперь забанен на архиве, получается! :) Никакой конкретной причины, относящейся именно к моей статье, там ниже не написано, если что.

У меня действительно уже две статьи лежат там on hold, и одна лежит уже полтора месяца. Я писал им и жалостливо, и гневно, и с отчаянием, и один раз даже получил очевидно человеческий ответ, но ни к чему это не привело: ждите у моря погоды, и даже удалить и переподать мы вам не разрешим.

Но при этом в последние пару месяцев сразу несколько моих статей прошли без проблем (см. скриншот). Те две, что лежат on hold, совершенно не выбиваются из их числа, там тоже есть AI use, конечно, но тексты написаны моими руками. Ничего особо гениального в них нет, одну из них уже успели из хорошего журнала даже отклонить, пока архив "рассматривает".)

Но вот последнюю реально жалко, это важно и горячо.

Кто-нибудь сталкивался с таким? Понимает ли кто-нибудь, что делать? Писать в саппорт, видимо, бесполезно... Какие ещё есть живые препринт-серверы?..

Update: пока выложил на Zenodo, doi там есть, и дата публикации есть, после которой нельзя менять файлы, а что ещё надо:

A Planar Lower Bound 1.1397... > 9/8 for Cost-Preserving Single-Source Unsplittable Flows

#research #fun #ai #math

Ну что ж, я в целом дошёл до некоторой точки: найденное позавчера новое семейство контрпримеров к гипотезе Диница — Гарга — Гёманса теперь понятно как устроено. Это оказались семейства пересекающихся целочисленных интервалов, которые задают пути до терминалов, точнее, ответвления к терминалам от главной "большой дороги" (в этом семействе до каждого терминала ровно два пути).

В итоге нижняя оценка уже от позавчерашних 1.1397... дошла до 1.28249..., а предел возможного для этого семейства, видимо, 4/3, точнее 4/3 — 1/k для k терминалов в графе, то есть очень большим вычислением можно было бы сделать 4/3 — ε (но надрываться и искать конкретные большие графы уже незачем, нового они ничего не скажут).

Интересно, что начали появляться и структурные результаты, и верхние оценки, и какая-то более-менее стройная теория. Я целый день вчера и утром сегодня старательно всю теорию вычитывал и перепроверял, и мне кажется, что там всё верно. Конечно, я могу ошибаться, но если честно, для структурных результатов это пока не очень принципиально: верхнюю оценку для всех графов мы не получили, оценку 2 для планарных графов не сдвинули, все верхние оценки там по сути для того конкретного семейства, из которого мои контрпримеры. Так что это не очень интересные результаты — хотя мне понравилось, как внезапно возникли не только семейства интервалов, но ещё и двусторонние округления Кнута из девяностых.

А вот нижнюю оценку проверять гораздо проще, а ещё можно перепроверить независимым полным перебором; так что в ней я уверен, и рекорд тут обновился сильно. Всё записали, графы и соответствующие им интервальные семейства нарисовали, препринт я вручную переписал и на Zenodo выложил:

Deletion-Star Ceilings and a 1.28249 Lower Bound for Cost-Preserving Single-Source Unsplittable Flows

(код и сертификаты всё в том же репозитории: https://github.com/snikolenko/unsplittable-flows )

Это была славная охота! Пока немного выдохну, а то вот опять приходится подвинуть обзор игры с пятницы.) Но постараюсь это направление не бросать и всё-таки прийти к каким-нибудь интересным теоремам и, возможно, верхним оценкам, а не только к одному семейству контрпримеров. В твиттер о результате написал, автор оригинального "You should do a breakthrough" Дмитрий Рыбин откликнулся позитивно, так что считаю, что то, что надо было сделать срочно, я уже сделал, а теперь можно спокойно подумать вокруг.

Дивный новый мир! Последние сутки были очень интересные, как в математическую юность свою снова вернулся. Это, конечно, далеко не самый яркий AI-assisted результат из последних пары недель, а всего лишь продолжение чужого прорыва. Например, пока я это всё записывал, новая система от Тенсент сравняла нижнюю оценку экспоненты, связывающей суммы и разности множеств, с верхней, закрыв важный вопрос с 60-летней историей. А задачу о (не)дистиллируемости состояний Вернера (это что-то на квантовом, но тоже очень важно) решили одновременно три группы учёных с разницей в считанные дни, а то и часы. Боюсь, что уже никаких сил не хватит в блоге всё это описывать подробно.

Но это всё равно было очень крутое ощущение. Хочется и продолжать, и повторять.

This is the least sci-fi the world will ever be.

#research #math #ai #publications

Я вам много рассказываю про великие достижения фронтирных LLM, но у скромного меня тоже кое-какие статьи выходят в последнее время. Надеюсь, что о них вам тоже буду рассказывать постепенно.

Сегодня начну с самого неожиданного результата. Я, как некоторые знают, работаю в том числе в Центре искусственного интеллекта СПбГУ. Там среди прочего есть и индустриальные партнёры, и с одним из них я как раз работал над этим проектом. Не знаю, могу ли раскрывать название партнёра, в статье попросили не упоминать, так что на всякий случай и здесь не буду.

Задача была в том, чтобы... ловить людей, которые воруют электричество. Кроме шуток, это распространённая практика: люди ставят шунт или делают ещё какую-то модификацию со счётчиком, и в результате счётчик как бы работает, но показывает гораздо меньше, чем на самом деле. Собственно шунтирование по сути умножает потребление на константу (меньшую единицы, разумеется), так что если у вас счётчик шунтирован с самого начала, по графику потребления заметить это никак невозможно, все профили потребления будут совершенно обычные, просто в N раз меньше.

Но если счётчик шунтировали в какой-то момент, попадающий внутрь истории наблюдений, то заметить это анализом графиков потребления вполне даже можно. Только надо учесть естественную сезонность: сделать дневной профиль (данные там получасовые обычно) и решить что-то вроде робастной регрессии с одним неизвестным (тем самым коэффициентом сокращения), прогоняя эту регрессию по истории счётчика (подставляя разные варианты того, когда шунтирование произошло). После такого прогона можно посмотреть, не найдётся ли там чётко видный выброс, который покажет, что вот при этом значении потенциального момента шунтирования эта регрессия описывает данные ну просто чертовски хорошо.

Это очень нехитрая мысль, дело осложняется только тем, что такого рода данные всегда довольно грязные, так что к этой простой мысли ещё добавляется куча всяких фильтров, гейтов, проверок и тому подобного. Но в целом проект был хоть и довольно продолжительный (так всегда бывает, то одно, то другое...), но по сути не то чтобы какой-то прорывной. Но индустриальный партнёр вроде бы остался доволен, и в данном случае это главное.

А теперь самое любопытное: Центр ИИ меня попросил всё-таки записать то, что я сделал по этой задаче, в виде статьи, и подать её куда-нибудь. Ну я записал и подал, причём для первого раза решил не мелочиться и подал сразу в Smart Cities, журнал с импакт-фактором около 6-7; я в этих темах не особенно разбираюсь, но кажется, что это реально один из лучших подходящих журналов.

И... её приняли! :) Вот, вышла в конце июня:

Physics-Guided Detection of Multiplicative Under-Registration in Smart Meter Time Series Under Smart-City Confounders

Сам удивляюсь, как так получилось, но факт. Большое спасибо коллегам из индустриального партнёра, коллегам из Центра ИИ и особенно Лизе Тарасовой за координацию и мотивацию.)

#research #publications #ai

Сегодня продолжу рассказывать про свои недавние статьи. Вот, например, порекламирую работу моего аспиранта Вадима Ломшакова и ещё одного моего аспиранта (правда, больше формального) Андрея Подивилова:

AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation

Почти все бенчмарки для LLM-агентов сводят прогон к одному биту: решил задачу или нет. Для лидерборда это, может, и неизбежно, но человек, который работает с агентом целый день, видит всю траекторию: как агент следует инструкциям, как пользуется инструментами, проверяет ли за собой, как исправляет ошибки и что вообще пишет пользователю.

Агент может пройти формальную проверку, но быть невыносимым в "рабочей коммуникации"; а может в итоге так и не написать проходящую тесты программу, но по дороге сделать кучу полезного. А для задач вроде "напиши документацию" бинарного критерия успеха и вовсе не существует.

AgentLens — это попытка сделать систему, которая оценивает именно траектории. Каждый прогон получает формальную верификацию там, где она возможна (тесты, проверки состояния репозитория и т.д.), плюс отзывы LLM-судей по пяти измерениям: итоговый результат, следование инструкциям, разные ловушки (pitfalls), в которые можно попасться, качество работы с инструментами и просто насколько приятно человеку с агентом взаимодействовать.

Одна из главных идей в том, что LLM-судья не только ставит оценку, но и пишет связный текстовый отзыв со ссылками на конкретные места в траектории, так что любой балл хорошо мотивирован, и эту мотивацию можно реально прочитать. Пользователя в нашей статье, кстати, тоже симулирует LLM — с разными персонами, включая пользователя слегка токсичного.

В полученном лидерборде на первом месте Opus 4.7, но это довольно скучный результат. Самое интересное — что по отзывам часто видны важные подробности. Например, Kimi K2.6 оказался на последнем месте, и по цифрам это выглядит как "слабая модель"; но отзыв судьи по tool calls показывает, что почти все ошибки — это один и тот же баг парсинга аргументов на стороне OpenRouter, а когда аргументы доходили нормально, агент работал вполне прилично.

Ещё один любопытный результат — self-preference судей: если сравнивать GPT-5.5 и Sonnet 4.6 их же собственными судьями, каждый судья заметно чаще предпочитает свою модель. Это ожидаемо, но забавно, что половина этого эффекта — в той самой крайне субъективной метрике Pleasantness.) Впрочем, победителя в среднем это не меняет.

Весь код выложен в соответствующем репозитории, и есть даже отдельная страничка про AgentLens и пост от авторов из Explyt.

Спасибо Вадиму Ломшакову, Андрею Подивилову и другим соавторам! Надеюсь, ещё поработаем вместе.

#research #publications #ai

Продолжаю про недавние статьи — и по забавному совпадению снова про бенчмарк для агентов, но совсем с другой стороны и с совсем другой группой авторов.

В прошлый раз я рассказывал про AgentLens, который мы делали с Вадимом Ломшаковым и Андреем Подивиловым; а эту работу сделали коллеги из лаборатории прикладного ИИ СПб ФИЦ РАН под руководством Максима Абрамова, и вышла она в IEEE Access:

MultiCAT-Bench: A Multi-Categorical Agent Tool Use Benchmark

AgentLens смотрел на агента в боевых условиях, пытаясь анализировать целые траектории, реалистичные задачи, живое (ну, симулированное, конечно) взаимодействие с пользователем. А MultiCAT-Bench — это, наоборот, "микроскоп": контролируемое измерение одной конкретной способности, вызова инструментов (function calling / tool use).

Но схожа идея углубиться в детали того, почему у агентов что-то не получается. Проблема существующих бенчмарков для tool use в том, что в них разные источники сложности перемешаны: непонятно, модель ошиблась потому, что вызовов было много, или потому, что параметры вложенные, или потому, что пользователь писал со сленгом и опечатками.

Поэтому мы генерируем задачи полностью автоматически, систематически варьируя десять разных факторов сложности: число вызовов и число доступных инструментов, число параметров и их опциональность, глубину вложенности, один или несколько пользователей в запросе, нужен ли вызов вообще (или нужно уточнить параметры, или ответить текстом), плюс синтаксический и семантический шум.

Получилось чуть меньше четырёх тысяч задач, и поскольку каждая задача размечена по всем осям, можно не просто мерить среднюю температуру по больнице, а раскладывать ошибки по факторам. На полученном бенчмарке прогнали десять моделей. Из результатов мне кажутся интересными вот какие:

— самый частый режим ошибок — пропуск; recall заметно ниже precision, то есть модели редко вызывают не то — они чаще не вызывают то, что нужно, или теряют аргументы;

— сложнее всего моделям даётся ширина, а не глубина; больше всего точность падает при росте числа вызовов в ответе (в ~1.6 раза), доли обязательных параметров и их числа, а вот вложенность параметров, число привязанных инструментов и даже лингвистический шум почти ни на что не влияют;

— неожиданно тяжёлым оказался мультипользовательский сценарий (когда один запрос содержит поручения от разных людей); а вот вызовы из разных доменов, наоборот, даже чуть легче, чем из одного, видимо, разнородные инструменты проще различать;

— рассуждающие модели радикально лучше распознают ситуацию "данных не хватает, надо переспросить".

В лидерах на этот раз Grok 4.1 Fast и GPT-5 Mini с ничтожной разницей; но лидерборд тут, как и в прошлый раз, наименее интересная часть, смысл бенчмарка именно в факторном анализе.

Большое спасибо Артёму Вяткину, Александру Попцову, Максиму Абрамову и всем коллегам из СПб ФИЦ РАН! Надеюсь, опять же, ещё не раз посотрудничаем!

#research #publications #ai

Вчера вдруг с нескольких сторон начали поздравлять с тем, что я вроде как стал одним из самых крутых российских учёных согласно вышедшему недавно датасету Elsevier и Scopus.

Новостной повод звучал максимально странно: "Шесть учёных и педагогов Яндекса попали в престижный научный рейтинг Elsevier", и среди них я, хотя к Яндексу я имею отношение только тем, что его премию получил в 2023 году (за что Яндексу, конечно, большое спасибо):

Gazeta.ru: Российские ученые вошли в топ-1% самых влиятельных в мире

Lenta.ru: Российские ученые попали в мировой рейтинг самых влиятельных исследователей

Rozetked: Российские учёные — в числе самых влиятельных в мире

В общем, конечно, мне стало интересно, датасет я скачал, и мы с Клодом в нём поразбирались. Всё, конечно, и так, и не совсем. :) Читайте по ссылке:

«Самые влиятельные учёные» от Elsevier

Краткое содержание ниже, но лучше по ссылке.

Что это за список. Группа Джона Иоаннидиса (того самого, который кризис репликации) раз в год считает для каждого автора Scopus композитный индекс c-score из шести логарифмически нормированных слагаемых. В список берут мировую сотню тысяч или 2% лучших в каждой из 174 подобластей. Так что "топ-2%" — это просто порог входа, а "топ-1%" — это как по факту в списке получилось.

Что в посте:

— Где я в этом потоке: По 2025 году — 1940-е место из 517 648 авторов в AI & Image Processing (топ-0,37%) и 106-е среди 989 российских учёных в списке. Среди соседей — авторы BLEU, HOG, Optuna, ReAct и глубоких ансамблей, а в карьерной таблице рядом стоит Уитфилд Диффи из протокола Диффи—Хеллмана.

— Из чего это сложилось: многие цитирования пришли из больших коллабораций (привет, SPAdes), плюс книги, написанные в одиночку; мораль: пишите книги!

— Что не так со списком: Scopus плохо видит ML, например, Андрей Карпатый в 2025 году ниже меня, а Дмитрия Ветрова в списке нет вовсе; первое место в AI, выше Бенджи и Хинтона, — у автора метаэвристик про серых волков и китов, а покойный Лотфи Заде и в 2025 году на пятом месте.

— Россиян не шесть, а около полутора тысяч: 1133 человека в карьерной таблице и 989 в годовой — 31-е и 36-е места; примерно семь человек на миллион жителей, как в Бразилии; правда, лучший "россиянин" 2025 года почти все свои статьи написал в Китае.

— Чем мы занимаемся: 41% российских участников — физики (в мире — 9%), клинической медицины в девять раз меньше мировой доли, российская часть списка старше (по возрасту) мировой лет на восемь.

— Самое неприятное открытие: по самоцитированию Россия находится на первом месте из всех стран с не меньшим числом участников списка, с большим отрывом, и составом наук это не объясняется...

Имеет ли всё это какое-то реальное значение? Конечно, нет. Но оказаться в такой компании приятно!

Что ж, буду считать, что это хороший повод написать ещё одну книгу — в одиночку, разумеется.)

А если вы хотите увидеть "учёного из топ-1% списка Elsevier" вживую и послушать о том, откуда берутся экзистенциальные риски от AI, приходите в воскресенье в "Бражник", у меня нечасто бывают настолько открытые всем желающим лекции.

#lifestyle #blog #ai #research