У нас с моим аспирантом Михаилом Широких (точнее, конечно, у него со мной) на днях вышел препринт "Sparse Prefix Caching for Hybrid and Recurrent LLM Serving". А я что-то не пишу сюда о том, какие у меня собственно статьи выходят, давайте буду исправляться, заодно вот и Мишу порекламирую.
Написал вот пост, в котором постарался популярно рассказать, о чём статья, да и вообще дать общее введение в тему:
Разреженное префиксное кеширование, или где расставлять чекпойнты в гибридных LLM
Пост не очень длинный, но в нём изрядное количество формул, так что я тут только оглавление приведу, а так читайте по ссылке.
1. Префиксное кеширование: общая идея
2. А если у нас не трансформер?
3. Идея разреженного префиксного кеширования
4. Где ставить чекпойнты?
— Случай 1: когда про распределение мы ничего не знаем
— Случай 2: распределение неравномерное
— Случай 3: оцениваем распределение по истории
5. Экспериментальные результаты
— Как выглядят реальные распределения
— Экономия токенов на длинных последовательностях
— Реальные измерения времени (wall-clock)
— Как выглядят расстановки на реальных данных
6. Выводы и что дальше
В общем, интересная наука, и я категорически желаю Мише дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.
#ai #blog #longreads #research
Написал вот пост, в котором постарался популярно рассказать, о чём статья, да и вообще дать общее введение в тему:
Разреженное префиксное кеширование, или где расставлять чекпойнты в гибридных LLM
Пост не очень длинный, но в нём изрядное количество формул, так что я тут только оглавление приведу, а так читайте по ссылке.
1. Префиксное кеширование: общая идея
2. А если у нас не трансформер?
3. Идея разреженного префиксного кеширования
4. Где ставить чекпойнты?
— Случай 1: когда про распределение мы ничего не знаем
— Случай 2: распределение неравномерное
— Случай 3: оцениваем распределение по истории
5. Экспериментальные результаты
— Как выглядят реальные распределения
— Экономия токенов на длинных последовательностях
— Реальные измерения времени (wall-clock)
— Как выглядят расстановки на реальных данных
6. Выводы и что дальше
В общем, интересная наука, и я категорически желаю Мише дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.
#ai #blog #longreads #research
❤20👍6🔥6
Мне тут пришли рецензии из одного вполне нормального журнала. Очень популярного в академических кругах, потому что он достаточно хорош, чтобы закрывать многие формальные показатели, но достаточно плох, чтобы попасть туда было не очень сложно. Но называть журнал я не буду, потому что рецензии были вот какие.
Reviewer 1
И там дальше ещё много абзацев такого же отборного LLM-подхалимства.
Reviewer 2
А вот здесь я ничего не вырезал, это весь отзыв, полностью; мне даже не потребовалось ничего удалять, чтобы не намекать вам на тему статьи — думаю, она и для рецензента была не важна.
И только Reviewer 3 действительно написал рецензию с содержательными замечаниями, ему или ей спасибо.
Это всё, конечно, очень смешно, и я вам это для того и показываю, чтобы поржать. Сам вот пишу этот пост и улыбаюсь совершенно неконтролируемо; особенно смешно, что таким получился именно Reviewer 2.)
Но на самом деле это отражение настоящего кризиса в современной науке. Рецензировать некому и, главное, незачем: рецензия ничего никому не даёт, кроме лишней работы. В данном случае, конечно, редактор повёл себя некорректно: очевидно, он даже не заглянул в рецензии, прежде чем пересылать их нам. В более нормальном случае редактор бы выбросил первые две рецензии в мусорное ведро и пошёл бы искать новых рецензентов, что затянуло бы процесс ещё на пару месяцев, но такого epic fail'а бы не случилось.
Но редактировать журналы... вы угадали, некому и незачем. Звание редактора тоже ничего никому не даёт, кроме лишней работы. И я совершенно не знаю, что делать с этим: даже когда журналы берут заметные деньги (а open access журналы ещё как берут!), делиться ими с редакторами скорее всего было бы неправильной мотивацией, что привело бы к разным неприятным эффектам.
С другой стороны, другой мотивации вряд ли можно найти, прямо сейчас система явно уже не работает как должно, и вполне возможно, что эти эффекты — меньшее зло. Не знаю. А вы как думаете?
#ai #research #fun
Reviewer 1
This is an outstanding and highly ambitious study that makes multiple significant contributions to the emerging field of [...]
The scale of the evaluation is remarkable. [...] The three-experiment design is exceptionally well-structured. [...] The analysis of [...] accuracy stands out as one of the most insightful contributions [...] [it] is a finding of real theoretical significance. The authors' nuanced interpretation [...] demonstrates admirable intellectual depth and honesty.
И там дальше ещё много абзацев такого же отборного LLM-подхалимства.
Reviewer 2
Many thanks for the submission.
After careful reading the manuscript, I found that the paper is unsuitable for the publication.
The technical aspects not exist in the paper.
Most probably suitable other type of journal.
My apologies
А вот здесь я ничего не вырезал, это весь отзыв, полностью; мне даже не потребовалось ничего удалять, чтобы не намекать вам на тему статьи — думаю, она и для рецензента была не важна.
И только Reviewer 3 действительно написал рецензию с содержательными замечаниями, ему или ей спасибо.
Это всё, конечно, очень смешно, и я вам это для того и показываю, чтобы поржать. Сам вот пишу этот пост и улыбаюсь совершенно неконтролируемо; особенно смешно, что таким получился именно Reviewer 2.)
Но на самом деле это отражение настоящего кризиса в современной науке. Рецензировать некому и, главное, незачем: рецензия ничего никому не даёт, кроме лишней работы. В данном случае, конечно, редактор повёл себя некорректно: очевидно, он даже не заглянул в рецензии, прежде чем пересылать их нам. В более нормальном случае редактор бы выбросил первые две рецензии в мусорное ведро и пошёл бы искать новых рецензентов, что затянуло бы процесс ещё на пару месяцев, но такого epic fail'а бы не случилось.
Но редактировать журналы... вы угадали, некому и незачем. Звание редактора тоже ничего никому не даёт, кроме лишней работы. И я совершенно не знаю, что делать с этим: даже когда журналы берут заметные деньги (а open access журналы ещё как берут!), делиться ими с редакторами скорее всего было бы неправильной мотивацией, что привело бы к разным неприятным эффектам.
С другой стороны, другой мотивации вряд ли можно найти, прямо сейчас система явно уже не работает как должно, и вполне возможно, что эти эффекты — меньшее зло. Не знаю. А вы как думаете?
#ai #research #fun
🤔26🤯18❤8👀5🔥2
В курсе "Введение в глубокое обучение" в ЮФУ от бандитов перешли собственно к настоящему обучению с подкреплением:
ЮФУ — 2026.05.07 — Постановки задач RL и уравнения Беллмана
(слайды и доска на странице курса)
Я рассказал в целом обо всей общей постановочной стороне вопроса: что мы делаем (ищем оптимальную стратегию), как мы это пытаемся делать (или напрямую, или через функции значений), как это делать в лоб (решать уравнения Беллмана) и почему в лоб не получается.
На этом месте я почувствовал, что переходить от постановок задач к собственно их решениям всё-таки будет уже тяжеловато для аудитории; напомню, что это вводный обзорный курс ML для первокурсников. Так что закруглился на общих словах о том, какие вообще методы в RL бывают, и надеюсь, что курс об обучении с подкреплением у студентов ЮФУ ещё будет отдельный. Когда-нибудь потом.
Так что в этом курсе я экскурс в RL завершу и буду дальше двигаться обратно к LLM. Зато произошло сближение двух траекторий, и в обычном моём курсе в СПбГУ тоже настало время обучения с подкреплением. Но об этом я уж расскажу отдельно.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.07 — Постановки задач RL и уравнения Беллмана
(слайды и доска на странице курса)
Я рассказал в целом обо всей общей постановочной стороне вопроса: что мы делаем (ищем оптимальную стратегию), как мы это пытаемся делать (или напрямую, или через функции значений), как это делать в лоб (решать уравнения Беллмана) и почему в лоб не получается.
На этом месте я почувствовал, что переходить от постановок задач к собственно их решениям всё-таки будет уже тяжеловато для аудитории; напомню, что это вводный обзорный курс ML для первокурсников. Так что закруглился на общих словах о том, какие вообще методы в RL бывают, и надеюсь, что курс об обучении с подкреплением у студентов ЮФУ ещё будет отдельный. Когда-нибудь потом.
Так что в этом курсе я экскурс в RL завершу и буду дальше двигаться обратно к LLM. Зато произошло сближение двух траекторий, и в обычном моём курсе в СПбГУ тоже настало время обучения с подкреплением. Но об этом я уж расскажу отдельно.
#sfu #lectures #dsfrontiers
🔥8❤3
Да, так вот, продолжая вчерашний разговор, в курсе "Графические вероятностные модели" я тоже добрался до обучения с подкреплением:
СПбГУ — 2026.05.08 — Многорукие бандиты и введение в RL
(слайды и доска, как всегда, на странице курса)
Первая тема, как всегда бывает, многорукие бандиты: как выбрать, за какую ручку дёргать, если награды их стохастичны и неизвестны заранее. Обсудили постановку задачи, понятие цены обучения (regret), принцип оптимизма при неопределённости и семейство алгоритмов UCB; про это всё показал даже какой-то код с экспериментами, хотя, конечно, как всегда рудиментарный. Кратко рассказал о других бандитских постановках: нестационарных, конкурентных и контекстуальных бандитах.
А потом перешли к полноценному RL: обсудили формальную постановку задачи (марковский процесс принятия решений, Markov decision process), целевую функцию для оптимизации (return, который не надо путать с reward), функции значений (value functions, V и Q). И здесь тоже мы успели понять, что теоретически в RL можно тупо решать уравнения Беллмана, но на практике это не получается. А ещё успел обсудить policy improvement theorem и метод policy iteration, который из неё следует.
Но если в ЮФУ мы на этом и закончили, то в СПбГУ основное содержание ещё впереди: на следующих лекциях мы должны и понять математические основы происходящего, и дойти до самых современных методов обучения с подкреплением (не всех, конечно, но кое-каких).
#spsu #lectures #pgm2026
СПбГУ — 2026.05.08 — Многорукие бандиты и введение в RL
(слайды и доска, как всегда, на странице курса)
Первая тема, как всегда бывает, многорукие бандиты: как выбрать, за какую ручку дёргать, если награды их стохастичны и неизвестны заранее. Обсудили постановку задачи, понятие цены обучения (regret), принцип оптимизма при неопределённости и семейство алгоритмов UCB; про это всё показал даже какой-то код с экспериментами, хотя, конечно, как всегда рудиментарный. Кратко рассказал о других бандитских постановках: нестационарных, конкурентных и контекстуальных бандитах.
А потом перешли к полноценному RL: обсудили формальную постановку задачи (марковский процесс принятия решений, Markov decision process), целевую функцию для оптимизации (return, который не надо путать с reward), функции значений (value functions, V и Q). И здесь тоже мы успели понять, что теоретически в RL можно тупо решать уравнения Беллмана, но на практике это не получается. А ещё успел обсудить policy improvement theorem и метод policy iteration, который из неё следует.
Но если в ЮФУ мы на этом и закончили, то в СПбГУ основное содержание ещё впереди: на следующих лекциях мы должны и понять математические основы происходящего, и дойти до самых современных методов обучения с подкреплением (не всех, конечно, но кое-каких).
#spsu #lectures #pgm2026
❤6🔥5👍1
Сегодня у нас добрая игра о потере и любви из Индонезии, которая ещё и позволила мне вспомнить два других отличных проекта: A Space for the Unbound и Until Then. Как всегда, здесь сильно сокращённая версия, полная на сайте:
Afterlove EP (и ещё две игры бонусом)
(и вот выложил на DTF)
Делала игру индонезийская студия Pikselnesia, основанная геймдизайнером и писателем Мохаммадом Фахми. Фахми был креативным директором Coffee Talk, уютной игры про бариста в дождливом Сиэтле, обслуживающую эльфов и оборотней, и What Comes After, в которую я всё собираюсь как-нибудь поиграть.
Анонсировали Afterlove EP в 2021-м, а в марте 2022-го... Фахми внезапно умер в возрасте 32 лет. Команда на два месяца остановила разработку, а потом решила игру всё-таки доделать, по черновикам и наброскам, которые Фахми оставил. Зная это, на Afterlove EP смотришь уже иначе, ведь это игра про потерю любимого человека. [...]
Главная причина, по которой я уделяю Afterlove EP целый пост, в том, что она заставила меня вспомнить две другие отличные игры: A Space for the Unbound и особенно Until Then.
Играл я в них довольно давно, так что полноценных обзоров уже не напишу. Но помню, что мне понравилось, [и в полной версии говорю про каждую пару слов]. Очень рекомендую особенно вторую — лично мне Until Then попала прямо в сердечко, в главных моментах не раз буквально слёзы наворачивались. Только один совет: не повторяйте мою ошибку и не идите гуглить рецензии, как только пойдут титры.
Теперь о самой Afterlove EP. Во-первых, это игра из Индонезии, что уже само по себе интересно. [...] Afterlove EP — тоже рисованная бродилка с видом сбоку, смотрится довольно стандартно [...]
Но главное тут, конечно, не рисовка, а сюжет. Ты играешь за парня-гитариста по имени Рама, который пытается пробиться на инди-сцену Джакарты со своей группой из трёх человек (он сам, барабанщик и басистка). Главный поворот (не спойлер, это сразу становится известно) в том, что год назад у него умерла девушка по имени Синта, и он это очень тяжело переживал и до сих пор переживает.
Настолько тяжело, что девушка в итоге поселилась у него в голове. Разговаривает с вами, имеет своё мнение, поддерживает диалог и кажется полноценной личностью, вот только никто кроме Рамы её не видит. Тульпа, как говорили в некоторых кругах. Кстати, в игре есть очень крутой штрих: Синта в игре является единственным озвученным персонажем, остальные разговаривают только текстом. [...]
В общем, это типичная young adult игра про отношения, но хорошо сделано! Персонажи относительно плоские, но совсем не карикатурные, и за развитием этой мыльной оперы следить было интересно.
Когда Рама репетирует (один или с группой) или выступает, начинается ритм-игра, в которой надо вовремя попадать по кнопкам. [...] Самым главным недостатком лично для меня было неловкое управление [...] Но это мелочи.
Дальше я вам сюжет спойлерить не буду. [...] Если вам кажется, что такой жанр может вас заинтересовать, то рекомендую попробовать [...] Если нет — нет, ничего такого уж гениального и выходящего за пределы своего жанра я тут не нашёл. В целом мне понравилось. Это достойный продолжатель дела A Space for the Unbound и Until Then, хотя я, пожалуй, рекомендую начать именно с них. Особенно Until Then.
#tgif #games
Afterlove EP (и ещё две игры бонусом)
(и вот выложил на DTF)
Делала игру индонезийская студия Pikselnesia, основанная геймдизайнером и писателем Мохаммадом Фахми. Фахми был креативным директором Coffee Talk, уютной игры про бариста в дождливом Сиэтле, обслуживающую эльфов и оборотней, и What Comes After, в которую я всё собираюсь как-нибудь поиграть.
Анонсировали Afterlove EP в 2021-м, а в марте 2022-го... Фахми внезапно умер в возрасте 32 лет. Команда на два месяца остановила разработку, а потом решила игру всё-таки доделать, по черновикам и наброскам, которые Фахми оставил. Зная это, на Afterlove EP смотришь уже иначе, ведь это игра про потерю любимого человека. [...]
Главная причина, по которой я уделяю Afterlove EP целый пост, в том, что она заставила меня вспомнить две другие отличные игры: A Space for the Unbound и особенно Until Then.
Играл я в них довольно давно, так что полноценных обзоров уже не напишу. Но помню, что мне понравилось, [и в полной версии говорю про каждую пару слов]. Очень рекомендую особенно вторую — лично мне Until Then попала прямо в сердечко, в главных моментах не раз буквально слёзы наворачивались. Только один совет: не повторяйте мою ошибку и не идите гуглить рецензии, как только пойдут титры.
Теперь о самой Afterlove EP. Во-первых, это игра из Индонезии, что уже само по себе интересно. [...] Afterlove EP — тоже рисованная бродилка с видом сбоку, смотрится довольно стандартно [...]
Но главное тут, конечно, не рисовка, а сюжет. Ты играешь за парня-гитариста по имени Рама, который пытается пробиться на инди-сцену Джакарты со своей группой из трёх человек (он сам, барабанщик и басистка). Главный поворот (не спойлер, это сразу становится известно) в том, что год назад у него умерла девушка по имени Синта, и он это очень тяжело переживал и до сих пор переживает.
Настолько тяжело, что девушка в итоге поселилась у него в голове. Разговаривает с вами, имеет своё мнение, поддерживает диалог и кажется полноценной личностью, вот только никто кроме Рамы её не видит. Тульпа, как говорили в некоторых кругах. Кстати, в игре есть очень крутой штрих: Синта в игре является единственным озвученным персонажем, остальные разговаривают только текстом. [...]
В общем, это типичная young adult игра про отношения, но хорошо сделано! Персонажи относительно плоские, но совсем не карикатурные, и за развитием этой мыльной оперы следить было интересно.
Когда Рама репетирует (один или с группой) или выступает, начинается ритм-игра, в которой надо вовремя попадать по кнопкам. [...] Самым главным недостатком лично для меня было неловкое управление [...] Но это мелочи.
Дальше я вам сюжет спойлерить не буду. [...] Если вам кажется, что такой жанр может вас заинтересовать, то рекомендую попробовать [...] Если нет — нет, ничего такого уж гениального и выходящего за пределы своего жанра я тут не нашёл. В целом мне понравилось. Это достойный продолжатель дела A Space for the Unbound и Until Then, хотя я, пожалуй, рекомендую начать именно с них. Особенно Until Then.
#tgif #games
🔥9❤5👌3
В СПбГУ подходит время экзамена у выпускного курса (им надо всё сдать раньше, ещё фактически в течение семестра), так что нарушу естественный порядок и выложу сразу пятничную лекцию из курса "Графические вероятностные модели":
СПбГУ — 2026.05.15 — Методы Монте-Карло в RL и TD обучение
(слайды и доска, как всегда, на странице курса)
Здесь началась главная мякотка обучения с подкреплением: откуда нам брать оптимальные стратегии или хотя бы функции V и Q, если мы не знаем динамики окружающей среды (а мы в подавляющем большинстве реальных случаев не знаем)?
Методы Монте-Карло отвечают на этот вопрос с обезоруживающей простотой: V и Q — это ожидания вознаграждений (returns), а мы в процессе обучения как раз их и получаем, то есть вознаграждения из опыта можно считать просто сэмплами для усреднения.
А TD-обучение делает чуть более хитрый трюк: разворачивает V или Q на один шаг вперёд и подставляет туда нашу же оценку (ту же функцию) для следующего состояния. Получается этакий bootstrap-метод (в прямом смысле вытягивания самого себя из болота за шнурки), и на практике TD-обучение обычно оказывается лучше.
Это я объяснил совсем на пальцах, в реальности, конечно, там есть много интересных подробностей, проблем, примеров с бесконечной дисперсией, разницей между on-policy и off-policy методами (для off-policy нужно было вспомнить веса значимости, которые мы в сэмплировании проходили) и так далее, и тому подобное. Надеюсь, было интересно.
Мякотка началась, но не закончилась! Дальше будет, пожалуй, ещё более интересная часть: методы градиента по стратегиям. Ну и приближённые методы в RL тоже, соответственно, без них никуда.
#spsu #lectures #pgm2026
СПбГУ — 2026.05.15 — Методы Монте-Карло в RL и TD обучение
(слайды и доска, как всегда, на странице курса)
Здесь началась главная мякотка обучения с подкреплением: откуда нам брать оптимальные стратегии или хотя бы функции V и Q, если мы не знаем динамики окружающей среды (а мы в подавляющем большинстве реальных случаев не знаем)?
Методы Монте-Карло отвечают на этот вопрос с обезоруживающей простотой: V и Q — это ожидания вознаграждений (returns), а мы в процессе обучения как раз их и получаем, то есть вознаграждения из опыта можно считать просто сэмплами для усреднения.
А TD-обучение делает чуть более хитрый трюк: разворачивает V или Q на один шаг вперёд и подставляет туда нашу же оценку (ту же функцию) для следующего состояния. Получается этакий bootstrap-метод (в прямом смысле вытягивания самого себя из болота за шнурки), и на практике TD-обучение обычно оказывается лучше.
Это я объяснил совсем на пальцах, в реальности, конечно, там есть много интересных подробностей, проблем, примеров с бесконечной дисперсией, разницей между on-policy и off-policy методами (для off-policy нужно было вспомнить веса значимости, которые мы в сэмплировании проходили) и так далее, и тому подобное. Надеюсь, было интересно.
Мякотка началась, но не закончилась! Дальше будет, пожалуй, ещё более интересная часть: методы градиента по стратегиям. Ну и приближённые методы в RL тоже, соответственно, без них никуда.
#spsu #lectures #pgm2026
❤8👍4🔥2
А вот и последний пока что семинар лаборатории Маркова. Артём Липиньски рассказывал о проекте, в котором сам участвовал:
Семинар Markov Lab — 2026-05-08 — Создание арабской языковой модели методом непрерывного дообучения
(слайды на странице семинара)
Артём Липиньски (СПбГУ)
Как учат LLM арабскому? Оказывается, что хотя это очень популярный язык, задача получается нетривиальная, потому что арабского в интернете меньше 1%, у топовых моделей он проседает, а арабоцентричные модели вроде Jais и AceGPT пока не дотягивают до лидеров рынка. Артём рассказал про continuous pretrain поверх Qwen3-1.7B, причём прошёл по всем пунктам: архитектура, метрики, данные, токенизатор, обучение.
Вообще рассказ был очень интересный, и Артём рассказывал хорошо, не углубляясь в технические детали и циферки; мне кажется, стоит посмотреть. Вот, например, их история про многоязычность. Следуя рекомендациям, коллеги добавили в корпус английский, потом французский — и модель внезапно начала отвечать... по-китайски. Добавили китайский — стала отвечать по-русски! Добавили русский — и тут получили +20% к качеству порождения против чисто арабских данных. В итоговом миксе у них 50% арабского, 22% английского, дальше китайский, французский и русский — и итоговая 1.7B-модель на OALL обгоняет по среднему баллу Gemma-2-9B, Falcon3-10B и Llama-3.2-3B, то есть модели в 2–6 раз больше.
Хорошая иллюстрация к тому, что обучение LLM — это всё ещё очень эмпирическая дисциплина, где много разных сюрпризов.
#spsu #seminar #markovlab
Семинар Markov Lab — 2026-05-08 — Создание арабской языковой модели методом непрерывного дообучения
(слайды на странице семинара)
Артём Липиньски (СПбГУ)
Как учат LLM арабскому? Оказывается, что хотя это очень популярный язык, задача получается нетривиальная, потому что арабского в интернете меньше 1%, у топовых моделей он проседает, а арабоцентричные модели вроде Jais и AceGPT пока не дотягивают до лидеров рынка. Артём рассказал про continuous pretrain поверх Qwen3-1.7B, причём прошёл по всем пунктам: архитектура, метрики, данные, токенизатор, обучение.
Вообще рассказ был очень интересный, и Артём рассказывал хорошо, не углубляясь в технические детали и циферки; мне кажется, стоит посмотреть. Вот, например, их история про многоязычность. Следуя рекомендациям, коллеги добавили в корпус английский, потом французский — и модель внезапно начала отвечать... по-китайски. Добавили китайский — стала отвечать по-русски! Добавили русский — и тут получили +20% к качеству порождения против чисто арабских данных. В итоговом миксе у них 50% арабского, 22% английского, дальше китайский, французский и русский — и итоговая 1.7B-модель на OALL обгоняет по среднему баллу Gemma-2-9B, Falcon3-10B и Llama-3.2-3B, то есть модели в 2–6 раз больше.
Хорошая иллюстрация к тому, что обучение LLM — это всё ещё очень эмпирическая дисциплина, где много разных сюрпризов.
#spsu #seminar #markovlab
❤13🔥3
На следующем семинаре лаборатории Маркова будет сразу два доклада по цене одного:
Потоковое распознавание речи в реальном времени с внутренним механизмом финализации
Ссылка на трансляцию (пятница 22 мая, 14:00)
Даниил Павленко (СПбГУ)
Системы автоматического распознавания речи все чаще используются не как самостоятельные инструменты, а как компоненты более сложных систем: голосовых ассистентов, диалоговых интерфейсов, сервисов онлайн-транскрибации звонков и встреч. В таких сценариях важно не только получить качественную транскрипцию, но и уметь работать с аудио в реальном времени: выдавать промежуточные гипотезы, поддерживать длинные сессии, а также своевременно понимать, когда текущий фрагмент распознавания уже достаточно стабилен и его можно передавать дальше.
В данной работе предлагается новый подход к решению этой задачи. Ключевая гипотеза работы состоит в том, что решение о финализации распознавания может быть частью самой модели, а не внешним модулем. При таком подходе модель может сама определять, достаточно ли ей контекста, чтобы завершить текущий фрагмент, или ей нужно продолжить слушать аудио до появления более устойчивой гипотезы. В рамках работы представлен первый этап разработки такой системы (pretrain), который содержит все основные шаги подготовки модели: от выбора метрик и сбора данных и до обучения и сравнительного анализа с современными системами распознавания речи.
Объединяя модели клиентов: внедрение графовых вложений в модели последовательностей событий
Ссылка на трансляцию (пятница 22 мая, примерно в 14:45 — 15)
Гарри Прошян (ПОМИ РАН)
Для эффективного антифрода, скоринга и таргетинга платформам нужны точные и репрезентативные эмбеддинги пользователей, способные предсказывать их свойства. Стандартный подход — применять SSL-модели (self-supervised learning), которые строят вектор представления для каждого пользователя на основе его личной последовательности транзакций или логов. У такого подхода есть существенный минус: рассматривая клиентов в изоляции друг от друга, мы упускаем из виду глобальную графовую структуру их взаимодействий. В докладе будет рассмотрено, как исправить это слепое пятно.
Мы предлагаем три модельно-независимых метода интеграции графовой структуры в sequential SSL модели: GrEmb инициализирует представления неклиентских сущностей GNN-вложениями; Reg вводит CLIP-подобное согласование представлений пользователей, полученных из разных модальностей (последовательности и графы), в качестве регуляризации; Loss добавляет вспомогательную pretext-задачу: в то время как базовый SSL-лосс сближает пользователей по сходству паттернов поведения, дополнительный лосс обеспечивает близость на основе структурного соседства в графе. Мы получаем прирост качества над сильными бейзлайнами (CoLES, Barlow Twins), и эффект стабильно воспроизводится на четырёх датасетах объёмом до 530 млн событий. Статья опубликована на The Web Conference 2026 (A*).
#markovlab #seminar #spsu
Потоковое распознавание речи в реальном времени с внутренним механизмом финализации
Ссылка на трансляцию (пятница 22 мая, 14:00)
Даниил Павленко (СПбГУ)
Системы автоматического распознавания речи все чаще используются не как самостоятельные инструменты, а как компоненты более сложных систем: голосовых ассистентов, диалоговых интерфейсов, сервисов онлайн-транскрибации звонков и встреч. В таких сценариях важно не только получить качественную транскрипцию, но и уметь работать с аудио в реальном времени: выдавать промежуточные гипотезы, поддерживать длинные сессии, а также своевременно понимать, когда текущий фрагмент распознавания уже достаточно стабилен и его можно передавать дальше.
В данной работе предлагается новый подход к решению этой задачи. Ключевая гипотеза работы состоит в том, что решение о финализации распознавания может быть частью самой модели, а не внешним модулем. При таком подходе модель может сама определять, достаточно ли ей контекста, чтобы завершить текущий фрагмент, или ей нужно продолжить слушать аудио до появления более устойчивой гипотезы. В рамках работы представлен первый этап разработки такой системы (pretrain), который содержит все основные шаги подготовки модели: от выбора метрик и сбора данных и до обучения и сравнительного анализа с современными системами распознавания речи.
Объединяя модели клиентов: внедрение графовых вложений в модели последовательностей событий
Ссылка на трансляцию (пятница 22 мая, примерно в 14:45 — 15)
Гарри Прошян (ПОМИ РАН)
Для эффективного антифрода, скоринга и таргетинга платформам нужны точные и репрезентативные эмбеддинги пользователей, способные предсказывать их свойства. Стандартный подход — применять SSL-модели (self-supervised learning), которые строят вектор представления для каждого пользователя на основе его личной последовательности транзакций или логов. У такого подхода есть существенный минус: рассматривая клиентов в изоляции друг от друга, мы упускаем из виду глобальную графовую структуру их взаимодействий. В докладе будет рассмотрено, как исправить это слепое пятно.
Мы предлагаем три модельно-независимых метода интеграции графовой структуры в sequential SSL модели: GrEmb инициализирует представления неклиентских сущностей GNN-вложениями; Reg вводит CLIP-подобное согласование представлений пользователей, полученных из разных модальностей (последовательности и графы), в качестве регуляризации; Loss добавляет вспомогательную pretext-задачу: в то время как базовый SSL-лосс сближает пользователей по сходству паттернов поведения, дополнительный лосс обеспечивает близость на основе структурного соседства в графе. Мы получаем прирост качества над сильными бейзлайнами (CoLES, Barlow Twins), и эффект стабильно воспроизводится на четырёх датасетах объёмом до 530 млн событий. Статья опубликована на The Web Conference 2026 (A*).
#markovlab #seminar #spsu
❤11🔥8
В курсе "Введение в глубокое обучение" в ЮФУ я перестал рассказывать про обучение с подкреплением и вернулся к основным темам:
ЮФУ — 2026.05.14 — Языковое моделирование
(слайды и доска на странице курса)
Это была лекция о том, что такое языковые модели вообще, в довольно популярном формате, так что всем рекомендую.
Начал от печки: первую языковую модель, как известно, сделал ещё Андрей Андреевич Марков в 1913 году, и следующие девяносто лет языковые модели были в основном марковские, на n-граммах.
В 2000 году Йошуа Бенджи сотоварищи придумали нейросетевые LM и заодно начали осознавать мощь векторных представлений слов, о которых мы тоже поговорили. До word2vec оставалось ещё больше десяти лет, но это уже было по сути именно оно.
А в те времена, когда по планете начал шагать word2vec (2013-2014), стало вполне возможно обучать и рекуррентные языковые модели, и в 2015 появился тот самый пост Андрея Карпатого "The Unreasonable Effectiveness of Recurrent Neural Networks", который мы тоже обсудили.
Ну и дальше, конечно, мы перешли к LLM на трансформерах. О самих трансформерах мы говорили подробно раньше, так что в этой лекции обсудил дообучение: RLHF (вот и обучение с подкреплением пригодилось), PEFT в виде адаптеров и конкретно LoRA.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.14 — Языковое моделирование
(слайды и доска на странице курса)
Это была лекция о том, что такое языковые модели вообще, в довольно популярном формате, так что всем рекомендую.
Начал от печки: первую языковую модель, как известно, сделал ещё Андрей Андреевич Марков в 1913 году, и следующие девяносто лет языковые модели были в основном марковские, на n-граммах.
В 2000 году Йошуа Бенджи сотоварищи придумали нейросетевые LM и заодно начали осознавать мощь векторных представлений слов, о которых мы тоже поговорили. До word2vec оставалось ещё больше десяти лет, но это уже было по сути именно оно.
А в те времена, когда по планете начал шагать word2vec (2013-2014), стало вполне возможно обучать и рекуррентные языковые модели, и в 2015 появился тот самый пост Андрея Карпатого "The Unreasonable Effectiveness of Recurrent Neural Networks", который мы тоже обсудили.
Ну и дальше, конечно, мы перешли к LLM на трансформерах. О самих трансформерах мы говорили подробно раньше, так что в этой лекции обсудил дообучение: RLHF (вот и обучение с подкреплением пригодилось), PEFT в виде адаптеров и конкретно LoRA.
#sfu #lectures #dsfrontiers
🔥10❤3