На следующем семинаре лаборатории Маркова будет сразу два доклада по цене одного:

Потоковое распознавание речи в реальном времени с внутренним механизмом финализации
Ссылка на трансляцию (пятница 22 мая, 14:00)

Даниил Павленко (СПбГУ)

Системы автоматического распознавания речи все чаще используются не как самостоятельные инструменты, а как компоненты более сложных систем: голосовых ассистентов, диалоговых интерфейсов, сервисов онлайн-транскрибации звонков и встреч. В таких сценариях важно не только получить качественную транскрипцию, но и уметь работать с аудио в реальном времени: выдавать промежуточные гипотезы, поддерживать длинные сессии, а также своевременно понимать, когда текущий фрагмент распознавания уже достаточно стабилен и его можно передавать дальше.

В данной работе предлагается новый подход к решению этой задачи. Ключевая гипотеза работы состоит в том, что решение о финализации распознавания может быть частью самой модели, а не внешним модулем. При таком подходе модель может сама определять, достаточно ли ей контекста, чтобы завершить текущий фрагмент, или ей нужно продолжить слушать аудио до появления более устойчивой гипотезы. В рамках работы представлен первый этап разработки такой системы (pretrain), который содержит все основные шаги подготовки модели: от выбора метрик и сбора данных и до обучения и сравнительного анализа с современными системами распознавания речи.

Объединяя модели клиентов: внедрение графовых вложений в модели последовательностей событий
Ссылка на трансляцию (пятница 22 мая, примерно в 14:45 — 15)

Гарри Прошян (ПОМИ РАН)

Для эффективного антифрода, скоринга и таргетинга платформам нужны точные и репрезентативные эмбеддинги пользователей, способные предсказывать их свойства. Стандартный подход — применять SSL-модели (self-supervised learning), которые строят вектор представления для каждого пользователя на основе его личной последовательности транзакций или логов. У такого подхода есть существенный минус: рассматривая клиентов в изоляции друг от друга, мы упускаем из виду глобальную графовую структуру их взаимодействий. В докладе будет рассмотрено, как исправить это слепое пятно.

Мы предлагаем три модельно-независимых метода интеграции графовой структуры в sequential SSL модели: GrEmb инициализирует представления неклиентских сущностей GNN-вложениями; Reg вводит CLIP-подобное согласование представлений пользователей, полученных из разных модальностей (последовательности и графы), в качестве регуляризации; Loss добавляет вспомогательную pretext-задачу: в то время как базовый SSL-лосс сближает пользователей по сходству паттернов поведения, дополнительный лосс обеспечивает близость на основе структурного соседства в графе. Мы получаем прирост качества над сильными бейзлайнами (CoLES, Barlow Twins), и эффект стабильно воспроизводится на четырёх датасетах объёмом до 530 млн событий. Статья опубликована на The Web Conference 2026 (A*).

#markovlab #seminar #spsu

Cеминар лаборатории Маркова, видимо, расходится на лето. На последнем заседании были сразу два доклада, вот пока первый:

Семинар Markov Lab — 2026-05-22 — Потоковое распознавание речи в реальном времени
(слайды на странице семинара)

Даниил Павленко (СПбГУ)

Доклад Даниила — про потоковое распознавание речи (streaming ASR): это когда аудио приходит не целиком, а кусочками в реальном времени, и системе нужно одновременно поддерживать низкую задержку (latency) и выдавать осмысленные промежуточные гипотезы. Это нужно для голосовых ассистентов, субтитров созвонов и в целом любой онлайн-транскрибации, когда результаты нужны в реальном времени.

Даниил рассказал введение в обработку звука (дискретизация, преобразование Фурье, спектрограммы) и обзор ASR-архитектур, а потом собственно рассказал о своей системе: замороженный streaming encoder из NeMo плюс проектор и декодер из Qwen3, обученные на 15 тысячах часов аудио. Центральная идея — внутренний механизм финализации: вместо внешнего модуля, который решает, что фраза закончилась и транскрипт можно отдавать дальше, это решение встраивается в саму модель.

#spsu #seminar #markovlab

На следующей неделе уже начинается новый учебный год. Этот факт, конечно, у меня пока не очень поместился в голове. Но первый пункт нового учебного года будет точно очень приятный и интересный: уже 2 сентября мы начинаем семинары лаборатории Маркова! Они будут теперь по средам, начало в 13:40,

В Петербург ненадолго приезжает Кирилл Тыщук, выпускник МКН, который уже довольно давно работает в Deepmind над AI Safety. Кирилл расскажет про свежую статью со своим участием, а потом и вообще о том, что вы давно хотели узнать про AI Safety, но боялись спросить.

Debate Training Reduces Reward Hacking in RLAIF
Ссылка на трансляцию (среда 2 сентября, 13:40)

Кирилл Тыщук (AGI Safety Research Engineer, Google DeepMind)

Награды для LLM — дело тонкое. Если учить LLM давать правильные ответы любым способом, она, оказывается, может научиться красть их из Hugging Face. А если учить её получать одобрение другой модели-судьи, то она рано или поздно научится судью обманывать — причём тем скорее, чем слабее судья по сравнению с обучаемой моделью, то есть именно в том режиме, который наиболее актуален для контроля за системами возрастающей мощности.

Мы расскажем, как работает техника AI Safety via Debate (Irving, Christiano, Amodei) и покажем, что она вполне помогает слабому судье Gemini 2.5 Flash Lite давать награды более сильной Gemini 2.5 Flash и не быть обманутым в процессе.

Обычный RLAIF быстро подстраивается под ошибки судьи: награда растёт, а точность и судьи, и модели падает. Дебаты сохраняют качество наград на протяжении всего обучения и позволяют восстановить 45% разрыва качества модели до обучения с верифицируемыми наградами (оракулом).

Обсудим и проблемы подхода: без ограничений на игроков состязательное обучение вырождается во взлом судьи уже со стороны критика, да и в целом вместо хороших аргументов соперники часто переходят на крик.

После этого в неформальной обстановке обсудим область и новости AI Safety и Alignment в целом. Буду рад поделиться своим опытом и ответить на ваши вопросы.

#markovlab #seminar #spsu

На следующий семинар лаборатории Маркова докладчица приезжает из Москвы. Это её кандидатская диссертация, на которую я писал отзыв, так и пригласил на семинаре выступить:

Разработка и исследование методов навигации интеллектуальных агентов на основе мультимодальных представлений сцен

Ссылка на трансляцию (среда 16 сентября, 13:40)

Татьяна Земскова (МФТИ)

В рамках семинара будет рассмотрен цикл работ, посвященных разработке мультимодальных представлений сцены для повышения качества навигации интеллектуальных агентов до цели, заданной текстовым описанием. В качестве мультимодальных представлений будут рассмотрены как графы трехмерных сцен, так и последовательности RGB-D наблюдений с соответствующими им бинарными масками целевого объекта.

В цикле работ трехмерные графы сцены используются для повышения качества 3D-детекции цели, также показано, что совместное решение задач сегментации и навигации повышает успешность планирования траектории до целевого объекта end-to-end моделью навигации. Наконец, на семинаре будут рассмотрены методы активной сегментации, повышающие качество построения семантической карты окружающего пространства, которая затем используется для поиска объекта, соответствующего запросу пользователя.

#markovlab #seminar #spsu

Сегодня тоже был отличный семинар, коротко и по сути. Спасибо Татьяне!

Жду роботов-гуманоидов за $1K от Xiaomi. А вы ждёте?)

#markovlab #seminar #spsu

Следующий доклад на семинаре лаборатории Маркова скорее внутренний, в том смысле что докладчик из СПбГУ, хотя я, честно говоря, не уверен, на каком языке он будет:

Моделирование динамики мнений по цифровым следам: онлайн-сообщества и программные репозитории

Ссылка на трансляцию (среда 23 сентября, 13:40)

Юйлун Хэ (СПбГУ)

В докладе обсуждается применение моделей динамики мнений к данным, где позиции участников не измеряются напрямую, а выводятся из цифровой активности. Текстовые реакции и изменения программного кода преобразуются в последовательности численных состояний, после чего используются для оценки интерпретируемых зависимостей между участниками. На двух прикладных примерах рассматриваются способы построения таких состояний, различие между наблюдаемыми и скрытыми позициями, а также границы интерпретации восстановленных структур влияния.

Доклад может быть интересен широкой аудитории, в особенности — специалистам по сетевым играм, теории управления, анализу соцсетей (SNA), а также интересующимся анализом процессов разработки программного кода.

Доклад подготовлен на основе работ:

— Opinion Dynamics Models for Sentiment Evolution in Weibo Blogs. Yulong He, Anton V. Proskurnikov, Artem Sedakov, 8/2026 // Social Network Analysis and Mining (принято к публикации)

— Social Life of Code: Modeling Evolution through Code Embedding and Opinion Dynamics. Yulong He, Nikita Verbin, Sergey Kovalchuk, 3/2026 // Journal of Computational Science. 96, 102824

#markovlab #seminar #spsu

Сегодня семинар был несколько неожиданно кратким, но оно и неплохо, наверное.) Зато потом хорошо пообщались.

#spsu #markovlab #seminar

В среду у нас на семинаре интересная гостья, которая обещает рассказать, чем сейчас, в наше сложное и быстро меняющееся время, живёт математическая лингвистика. Может показаться, что современные LLM уже полностью овладели языком, но, видимо, это не так? Из списка литературы лично мне интереснее всего будет про персоны поговорить, Persona Selection Model уже давно появляется в моих докладах по AI safety, и это действительно важное направление как минимум в интерпретируемости.

Присоединяйтесь в среду:

Интерпретация явлений естественного языка в LLM для задачи контролируемой генерации текстов

Ольга Александровна Митрофанова
(к.ф.н., доц. СПбГУ)

Ссылка на трансляцию (среда 30 сентября, 13:40)

Современные языковые модели успешно справляются с порождением связных текстов, воспроизводя задаваемые пользователем характеристики (язык, стиль, структура и т.д.).

Вместе с тем, есть те лингвистические задачи, которые представляют сложность для LLM, в частности, моделирование лексико-семантических отношений в словосочетаниях, дифференциация синонимии и антонимии, моделирование внутрисловных связей и т.д.

В докладе рассматриваются решения, позволяющие повысить интерпретируемость результатов работы LLM. Материалы доклада могут заинтересовать как лингвистов, использующих LLM в своих исследованиях, так и прикладных математиков, разрабатывающих новые нейросетевые архитектуры.

Литература:

Astapenka, L., & Mitrofanova, O. (2026). Prediction of Lexical-Semantic Relations In Belarusian: From Word2Vec to LLM. In Computación y Sistemas, 30(1)

Athugodage, M., & Mitrofanova, O. (2025, June). The Influence of Language Typological Features on Neural Summarization Performance. In International Conference on Internet and Modern Society (pp. 132-144). Cham: Springer Nature Switzerland.

Bakaev, M., Gorovaia, S., & Mitrofanova, O. (2025). Who will author the synthetic texts? Evoking multiple personas from large language models to represent users’ associative thesauri. In Big Data and Cognitive Computing, 9(2), 46.

Mitrofanova, O., Iurevtseva, P., & Bakaev, M. (2025, October). What Do LLMs Know About Human Emotions? The Russian Case Study. In International Conference on Speech and Computer (pp. 129-144). Cham: Springer Nature Switzerland.

Rodionova, D. K., & Mitrofanova, O. A. (2026). Representation of Intraword Syntagmatic Relations in Vector Language Models. In Automatic Documentation and Mathematical Linguistics, 60(Suppl 3), 353-359.

#markovlab #seminar #spsu

В среду на семинаре лаборатории Маркова очень крутая тема. Давно собирался добавить её к своим лекциям, но там и так тесно получается каждый год, а теперь вот будет на что сослаться, надеюсь:

Индуктивный вывод по Соломонову: универсальный алгоритм машинного обучения, лучший среди всех?

Кирилл Соколов (СПбГУ)

Ссылка на трансляцию (среда 07 октября, 13:40)

Существует ли универсальный алгоритм машинного обучения, лучший среди всех алгоритмов на свете?

Оказывается, да! Он называется "индуктивный вывод Соломонова" (Solomonoff's inductive inference), в честь Рея Соломонова, разработавшего эту теорию ещё в 1960-х годах.

Что это за алгоритм, в каком смысле он "лучший" и почему вы о нём ничего не слышали — обо всём этом я подробно расскажу 7 октября на заседании семинара лаборатории Маркова.

В докладе будет много красивейшей математики! Чтобы слушать с кайфом, ничего даже из стандартного ML знать не требуется. Проще всего будет студентам-математикам 2-3 курсов бакалавриата. Задействованные области математики: теория вероятностей, теория меры, теоретическая информатика.

#markovlab #seminar #spsu

Математика закрывается, а математики живее всех живых!

На сегодняшний доклад, самый теоретический и абстрактный из всех, пришло больше всего слушателей. И это прекрасно!

#seminar #spsu #markovlab

Следующий доклад на семинаре лаборатории Маркова опять внутренний, но от этого не менее интересный:

Методы эвристического поиска и машинного обучения для решения головоломок

Ссылка на трансляцию (среда 14 октября, 13:40)

Александр Ананикян, Даниил Дроздов
(Лаборатория Маркова, СПбГУ)

С появлением ARC-AGI наука о решении головоломок разгерметизировалась. Теперь это не только развлечение для энтузиастов, но и важный бенчмарк для LLM. Однако прежде чем проверять интеллект на головоломках, неплохо бы разобраться, как их вообще решать.

В докладе мы дадим обзор современных подходов к решению кубика Рубика, познакомимся с PushWorld — головоломкой от DeepMind, в которой нужно толкать объекты к заданным целям, — и расскажем, как решали эти головоломки в рамках своих дипломных работ.

#markovlab #seminar #spsu

Семинар сегодня вышел... терапевтическим. Времена нынче сложные, и нам всем нужно в каком-то смысле перепридумывать себя.

Коллеги рассказывали о том, как решать головоломки - но в том числе и о том, чем сейчас можно заниматься и как это выглядит.

А выглядит, кстати, весьма прикольно.) Не переживайте, всё ещё будет хорошо.)

#spsu #markovlab #seminar