Уфф, прошёл дедлайн NeurIPS 2026, в этот раз я две статьи подавал, и в обеих не сбоку участвовал, как когда-то раньше бывало, а самым прямым и активным образом. Так что вчера не было поста в канале. Если доведётся, то есть если выложим статьи, скажем, на arXiv, ещё расскажу вам о них, оно того стоит, на мой взгляд.
А пока продолжу с обычным своим контентом, о курсе "Графические вероятностные модели":
СПбГУ — 2026.04.24 — Expectation Propagation и TrueSkill
(слайды и доска, как всегда, на странице курса)
Сначала закончил разговор о topic modeling: обсудили сэмплирование по Гиббсу в LDA (сжатое сэмплирование по Гиббсу — интересная деталь!) и всевозможные классы расширений LDA. Они делятся главным образом на те, где у авторов получилось посчитать формулы вариационного приближения, и те, где не получилось, и пришлось делать сэмплирование по Гиббсу.
А потом ещё одна тема, близкая моему сердцу. Давным-давно, в 2010-м году, мы с Александром Сироткиным решили сделать байесовский рейтинг для спортивного "Что? Где? Когда?". Я уже рассказывал вам про рейтинг, но это была более поздняя работа, когда в рейтинге ЧГК уже появились повопросные результаты. А пока их не было, нужно было придумать что-то исходя из таблиц вида "кто кого обыграл и кто с кем поделил".
Мы нашли систему TrueSkill, разработанную в Microsoft Research для серверов Xbox Live. Казалось, что это идеальная система: она работала как раз на таких сравнительных результатах и представляла собой очень красивую графическую модель. Для неё как раз и с Expectation Propagation пришлось разобраться.
И вот мы её реализовали... и ни фига не заработало! Оказалось, что в модели TrueSkill были прямо натурально ошибки; главное — плохо обрабатывались ничьи, особенно ничьи с большим дележом мест, а в ЧГК по понятным причинам все такие. Мы с Шуриком смогли с этим справиться, изменив структуру модели. И именно из этого получилась моя первая серьёзная статья по машинному обучению: нас с рейтингом спортивного ЧГК приняли на ICML 2011! S.I. Nikolenko, A.V. Sirotkin, A New Bayesian Rating System for Team Competitions, Proc. 28th ICML, pp. 601—608, 2011.
Так что об этом всегда приятно рассказывать и, надеюсь, интересно для слушателей получается. И это естественным образом заканчивает нашу часть курса про приближённый вывод, и мы переходим к новой большой теме: обучению с подкреплением (reinforcement learning).
#spsu #lectures #pgm2026
А пока продолжу с обычным своим контентом, о курсе "Графические вероятностные модели":
СПбГУ — 2026.04.24 — Expectation Propagation и TrueSkill
(слайды и доска, как всегда, на странице курса)
Сначала закончил разговор о topic modeling: обсудили сэмплирование по Гиббсу в LDA (сжатое сэмплирование по Гиббсу — интересная деталь!) и всевозможные классы расширений LDA. Они делятся главным образом на те, где у авторов получилось посчитать формулы вариационного приближения, и те, где не получилось, и пришлось делать сэмплирование по Гиббсу.
А потом ещё одна тема, близкая моему сердцу. Давным-давно, в 2010-м году, мы с Александром Сироткиным решили сделать байесовский рейтинг для спортивного "Что? Где? Когда?". Я уже рассказывал вам про рейтинг, но это была более поздняя работа, когда в рейтинге ЧГК уже появились повопросные результаты. А пока их не было, нужно было придумать что-то исходя из таблиц вида "кто кого обыграл и кто с кем поделил".
Мы нашли систему TrueSkill, разработанную в Microsoft Research для серверов Xbox Live. Казалось, что это идеальная система: она работала как раз на таких сравнительных результатах и представляла собой очень красивую графическую модель. Для неё как раз и с Expectation Propagation пришлось разобраться.
И вот мы её реализовали... и ни фига не заработало! Оказалось, что в модели TrueSkill были прямо натурально ошибки; главное — плохо обрабатывались ничьи, особенно ничьи с большим дележом мест, а в ЧГК по понятным причинам все такие. Мы с Шуриком смогли с этим справиться, изменив структуру модели. И именно из этого получилась моя первая серьёзная статья по машинному обучению: нас с рейтингом спортивного ЧГК приняли на ICML 2011! S.I. Nikolenko, A.V. Sirotkin, A New Bayesian Rating System for Team Competitions, Proc. 28th ICML, pp. 601—608, 2011.
Так что об этом всегда приятно рассказывать и, надеюсь, интересно для слушателей получается. И это естественным образом заканчивает нашу часть курса про приближённый вывод, и мы переходим к новой большой теме: обучению с подкреплением (reinforcement learning).
#spsu #lectures #pgm2026
🔥17❤2🆒1
Обсудим сегодня три игры-головоломки, по сути очень разные и с разным уровнем амбиций, но все три спокойные и уютные. Как всегда, полные обзоры по ссылке, здесь сокращено:
Три небольшие головоломки: SCHiM, Botany Manor, Spilled!
(и вот выложил на DTF)
SCHiM
Ты играешь за… бог знает кого, видимо, за духа под названием schim — я так понял, что это нарицательное имя, а не собственное (schim по-голландски значит “тень”). [...] Schim может жить только в тени и прыгать между тенями, а когда попадает в тень другого существа или предмета, может с ними иногда взаимодействовать.
В начале игры наш schim теряет “своего” человека и отправляется его догонять. [...]
С человеком в течение игры происходит какая-то история, которая в целом понятна, но поскольку в игре нет ни единого слова, история выглядит абстрактно и ничем не цепляет эмоционально. Это, на мой взгляд, минус.
Я вообще в подавляющем большинстве случаев не понимаю, зачем разработчики отказываются от простых человеческих слов. В редких случаях это интересный design choice, но и там обычно лучше ограничить его: например, в Stray было супер-логично, что кот не понимает язык роботов, но представьте себе, что у вас в Stray совсем не было бы понятного языка — была бы другая игра, и гораздо хуже.
Ну да ладно, это я отвлёкся. В целом SCHiM — простая прямолинейная игра, прыгать приятно, прошёл и забыл. Не уверен, что прямо рекомендую, но для условного самолёта пойдёт.
Botany Manor
Уютный расслабленный квест от первого лица, в котором ты играешь за престарелую ботаника Арабеллу Грин, вернувшуюся в фамильное поместье где-то на западе Англии в 1890 году. Арабелла собирает материал для своей последней книги — “Forgotten Flora”, собрание давно забытых магических растений. [...]
Любопытная деталь: главным визуальным источником вдохновения был Down House, особняк Чарльза Дарвина. А вторым — особняк Лары Крофт из Tomb Raider. И действительно, это обжитой викторианский дом с очевидным научным флёром, по которому хочется ходить и трогать вещи.
1890 год — это пик викторианской эпохи научных открытий, время “великих джентльменов-натуралистов” — и совсем не время для “великих леди”. История Арабеллы рассказывается фоном через письма, заметки, газеты и портреты, и в основном концентрируется на тогдашнем сексизме. [...]
Главное в головоломках, и они тут классные и разнообразные. Каждая глава вводит несколько растений, к каждому из которых по особняку разбросаны улики: ботанические плакаты, температурные карты, открытки, химические книги, старые фотографии, газетные заметки и так далее. Твоя задача — собрать улики в гипотезу о том, что нужно конкретному цветку, и затем создать ему правильные условия в одной из комнат особняка. Иногда это температура почвы, иногда определённый свет, иногда экзотическая химия, а иногда что-то совсем неожиданное, например вспышка грозы. [...]
Игра короткая, часа на три-четыре, но это и хорошо: загадок хватило на насыщенный геймплей, а попытка растянуть на подольше размыла бы то, что есть. Так что Botany Manor я в целом очень даже рекомендую.
Spilled!
Совсем крохотная зарисовка, меньше часа геймплея, но хорошо сделано. Ты играешь за кораблик, который очищает природу от чего-то чёрного, видимо, от разливов нефти или мазута. Спасаешь животных, доставляешь предметы в нужные места, иногда поливаешь водой берега. Милая рисовка, хорошие анимации, понятный месседж. [...]
Надо понимать, что игра абсолютно ни на что не претендует, типичный cozy time killer на часик. Но симпатичный, и история за ним, как мне кажется, тоже симпатичная.
#tgif #games
Три небольшие головоломки: SCHiM, Botany Manor, Spilled!
(и вот выложил на DTF)
SCHiM
Ты играешь за… бог знает кого, видимо, за духа под названием schim — я так понял, что это нарицательное имя, а не собственное (schim по-голландски значит “тень”). [...] Schim может жить только в тени и прыгать между тенями, а когда попадает в тень другого существа или предмета, может с ними иногда взаимодействовать.
В начале игры наш schim теряет “своего” человека и отправляется его догонять. [...]
С человеком в течение игры происходит какая-то история, которая в целом понятна, но поскольку в игре нет ни единого слова, история выглядит абстрактно и ничем не цепляет эмоционально. Это, на мой взгляд, минус.
Я вообще в подавляющем большинстве случаев не понимаю, зачем разработчики отказываются от простых человеческих слов. В редких случаях это интересный design choice, но и там обычно лучше ограничить его: например, в Stray было супер-логично, что кот не понимает язык роботов, но представьте себе, что у вас в Stray совсем не было бы понятного языка — была бы другая игра, и гораздо хуже.
Ну да ладно, это я отвлёкся. В целом SCHiM — простая прямолинейная игра, прыгать приятно, прошёл и забыл. Не уверен, что прямо рекомендую, но для условного самолёта пойдёт.
Botany Manor
Уютный расслабленный квест от первого лица, в котором ты играешь за престарелую ботаника Арабеллу Грин, вернувшуюся в фамильное поместье где-то на западе Англии в 1890 году. Арабелла собирает материал для своей последней книги — “Forgotten Flora”, собрание давно забытых магических растений. [...]
Любопытная деталь: главным визуальным источником вдохновения был Down House, особняк Чарльза Дарвина. А вторым — особняк Лары Крофт из Tomb Raider. И действительно, это обжитой викторианский дом с очевидным научным флёром, по которому хочется ходить и трогать вещи.
1890 год — это пик викторианской эпохи научных открытий, время “великих джентльменов-натуралистов” — и совсем не время для “великих леди”. История Арабеллы рассказывается фоном через письма, заметки, газеты и портреты, и в основном концентрируется на тогдашнем сексизме. [...]
Главное в головоломках, и они тут классные и разнообразные. Каждая глава вводит несколько растений, к каждому из которых по особняку разбросаны улики: ботанические плакаты, температурные карты, открытки, химические книги, старые фотографии, газетные заметки и так далее. Твоя задача — собрать улики в гипотезу о том, что нужно конкретному цветку, и затем создать ему правильные условия в одной из комнат особняка. Иногда это температура почвы, иногда определённый свет, иногда экзотическая химия, а иногда что-то совсем неожиданное, например вспышка грозы. [...]
Игра короткая, часа на три-четыре, но это и хорошо: загадок хватило на насыщенный геймплей, а попытка растянуть на подольше размыла бы то, что есть. Так что Botany Manor я в целом очень даже рекомендую.
Spilled!
Совсем крохотная зарисовка, меньше часа геймплея, но хорошо сделано. Ты играешь за кораблик, который очищает природу от чего-то чёрного, видимо, от разливов нефти или мазута. Спасаешь животных, доставляешь предметы в нужные места, иногда поливаешь водой берега. Милая рисовка, хорошие анимации, понятный месседж. [...]
Надо понимать, что игра абсолютно ни на что не претендует, типичный cozy time killer на часик. Но симпатичный, и история за ним, как мне кажется, тоже симпатичная.
#tgif #games
❤7
Теперь можно и китайские доклады повыкладывать; по крайней мере, вроде бы мне не запрещали этого делать. На семинаре в Great Bay University, куда меня пригласили перед основным мероприятием, рассказывал про функции влияния:
How to Evaluate Data for LLMs: From Simple Filters to Influence Function
(слайды на странице "Выступления")
По сути это примерно тот же доклад, который я когда-то читал на семинаре лаборатории Маркова. Мне до сих пор кажется, что это очень интересная наука и крутая идея: можно при помощи нехитрой, но изящной математики с первых двух курсов матанализа понять, какие именно документы и даже конкретные токены из обучающей выборки влияют на ответ модели на конкретный вопрос; интерпретируемее некуда, на самом-то деле.
Правда, когда я с функциями влияния столкнулся на практике, оказалось, что, как говорится, in theory, there is no difference between theory and practice; in practice, there is.) Но это уже совсем другая история...
А коллегам за приглашение большое спасибо, особенно профессору Jinqiao Duan, который меня собственно в Great Bay University и приглашал. Надеюсь, как-нибудь ещё посотрудничаем, хотя, как я писал в предыдущем посте, лучше будет посотрудничать как-нибудь без визитов в Китай.) Но в любом случае спасибо!
#talks #events #ai
How to Evaluate Data for LLMs: From Simple Filters to Influence Function
(слайды на странице "Выступления")
По сути это примерно тот же доклад, который я когда-то читал на семинаре лаборатории Маркова. Мне до сих пор кажется, что это очень интересная наука и крутая идея: можно при помощи нехитрой, но изящной математики с первых двух курсов матанализа понять, какие именно документы и даже конкретные токены из обучающей выборки влияют на ответ модели на конкретный вопрос; интерпретируемее некуда, на самом-то деле.
Правда, когда я с функциями влияния столкнулся на практике, оказалось, что, как говорится, in theory, there is no difference between theory and practice; in practice, there is.) Но это уже совсем другая история...
А коллегам за приглашение большое спасибо, особенно профессору Jinqiao Duan, который меня собственно в Great Bay University и приглашал. Надеюсь, как-нибудь ещё посотрудничаем, хотя, как я писал в предыдущем посте, лучше будет посотрудничать как-нибудь без визитов в Китай.) Но в любом случае спасибо!
#talks #events #ai
❤8👍4
Выложил пред-предыдущий семинар лаборатории Маркова, на котором Максим Николаев рассказывал про TurboQuant:
Семинар Markov Lab — 2026-04-10 — TurboQuant: векторная квантизация с почти оптимальным уровнем искажений
(слайды на странице семинара)
На докладе меня не было, так что сам от своего лица сказать про доклад ничего не могу. Но вот про сам TurboQuant я уже очень много чего сказал недавно: читайте мой большой пост, смотрите рассказ Максима, и очень надеюсь, что они не противоречат друг другу!)
#spsu #seminar #markovlab
Семинар Markov Lab — 2026-04-10 — TurboQuant: векторная квантизация с почти оптимальным уровнем искажений
(слайды на странице семинара)
На докладе меня не было, так что сам от своего лица сказать про доклад ничего не могу. Но вот про сам TurboQuant я уже очень много чего сказал недавно: читайте мой большой пост, смотрите рассказ Максима, и очень надеюсь, что они не противоречат друг другу!)
#spsu #seminar #markovlab
❤10👍5
У нас с моим аспирантом Михаилом Широких (точнее, конечно, у него со мной) на днях вышел препринт "Sparse Prefix Caching for Hybrid and Recurrent LLM Serving". А я что-то не пишу сюда о том, какие у меня собственно статьи выходят, давайте буду исправляться, заодно вот и Мишу порекламирую.
Написал вот пост, в котором постарался популярно рассказать, о чём статья, да и вообще дать общее введение в тему:
Разреженное префиксное кеширование, или где расставлять чекпойнты в гибридных LLM
Пост не очень длинный, но в нём изрядное количество формул, так что я тут только оглавление приведу, а так читайте по ссылке.
1. Префиксное кеширование: общая идея
2. А если у нас не трансформер?
3. Идея разреженного префиксного кеширования
4. Где ставить чекпойнты?
— Случай 1: когда про распределение мы ничего не знаем
— Случай 2: распределение неравномерное
— Случай 3: оцениваем распределение по истории
5. Экспериментальные результаты
— Как выглядят реальные распределения
— Экономия токенов на длинных последовательностях
— Реальные измерения времени (wall-clock)
— Как выглядят расстановки на реальных данных
6. Выводы и что дальше
В общем, интересная наука, и я категорически желаю Мише дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.
#ai #blog #longreads #research
Написал вот пост, в котором постарался популярно рассказать, о чём статья, да и вообще дать общее введение в тему:
Разреженное префиксное кеширование, или где расставлять чекпойнты в гибридных LLM
Пост не очень длинный, но в нём изрядное количество формул, так что я тут только оглавление приведу, а так читайте по ссылке.
1. Префиксное кеширование: общая идея
2. А если у нас не трансформер?
3. Идея разреженного префиксного кеширования
4. Где ставить чекпойнты?
— Случай 1: когда про распределение мы ничего не знаем
— Случай 2: распределение неравномерное
— Случай 3: оцениваем распределение по истории
5. Экспериментальные результаты
— Как выглядят реальные распределения
— Экономия токенов на длинных последовательностях
— Реальные измерения времени (wall-clock)
— Как выглядят расстановки на реальных данных
6. Выводы и что дальше
В общем, интересная наука, и я категорически желаю Мише дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.
#ai #blog #longreads #research
❤20👍6🔥6
Мне тут пришли рецензии из одного вполне нормального журнала. Очень популярного в академических кругах, потому что он достаточно хорош, чтобы закрывать многие формальные показатели, но достаточно плох, чтобы попасть туда было не очень сложно. Но называть журнал я не буду, потому что рецензии были вот какие.
Reviewer 1
И там дальше ещё много абзацев такого же отборного LLM-подхалимства.
Reviewer 2
А вот здесь я ничего не вырезал, это весь отзыв, полностью; мне даже не потребовалось ничего удалять, чтобы не намекать вам на тему статьи — думаю, она и для рецензента была не важна.
И только Reviewer 3 действительно написал рецензию с содержательными замечаниями, ему или ей спасибо.
Это всё, конечно, очень смешно, и я вам это для того и показываю, чтобы поржать. Сам вот пишу этот пост и улыбаюсь совершенно неконтролируемо; особенно смешно, что таким получился именно Reviewer 2.)
Но на самом деле это отражение настоящего кризиса в современной науке. Рецензировать некому и, главное, незачем: рецензия ничего никому не даёт, кроме лишней работы. В данном случае, конечно, редактор повёл себя некорректно: очевидно, он даже не заглянул в рецензии, прежде чем пересылать их нам. В более нормальном случае редактор бы выбросил первые две рецензии в мусорное ведро и пошёл бы искать новых рецензентов, что затянуло бы процесс ещё на пару месяцев, но такого epic fail'а бы не случилось.
Но редактировать журналы... вы угадали, некому и незачем. Звание редактора тоже ничего никому не даёт, кроме лишней работы. И я совершенно не знаю, что делать с этим: даже когда журналы берут заметные деньги (а open access журналы ещё как берут!), делиться ими с редакторами скорее всего было бы неправильной мотивацией, что привело бы к разным неприятным эффектам.
С другой стороны, другой мотивации вряд ли можно найти, прямо сейчас система явно уже не работает как должно, и вполне возможно, что эти эффекты — меньшее зло. Не знаю. А вы как думаете?
#ai #research #fun
Reviewer 1
This is an outstanding and highly ambitious study that makes multiple significant contributions to the emerging field of [...]
The scale of the evaluation is remarkable. [...] The three-experiment design is exceptionally well-structured. [...] The analysis of [...] accuracy stands out as one of the most insightful contributions [...] [it] is a finding of real theoretical significance. The authors' nuanced interpretation [...] demonstrates admirable intellectual depth and honesty.
И там дальше ещё много абзацев такого же отборного LLM-подхалимства.
Reviewer 2
Many thanks for the submission.
After careful reading the manuscript, I found that the paper is unsuitable for the publication.
The technical aspects not exist in the paper.
Most probably suitable other type of journal.
My apologies
А вот здесь я ничего не вырезал, это весь отзыв, полностью; мне даже не потребовалось ничего удалять, чтобы не намекать вам на тему статьи — думаю, она и для рецензента была не важна.
И только Reviewer 3 действительно написал рецензию с содержательными замечаниями, ему или ей спасибо.
Это всё, конечно, очень смешно, и я вам это для того и показываю, чтобы поржать. Сам вот пишу этот пост и улыбаюсь совершенно неконтролируемо; особенно смешно, что таким получился именно Reviewer 2.)
Но на самом деле это отражение настоящего кризиса в современной науке. Рецензировать некому и, главное, незачем: рецензия ничего никому не даёт, кроме лишней работы. В данном случае, конечно, редактор повёл себя некорректно: очевидно, он даже не заглянул в рецензии, прежде чем пересылать их нам. В более нормальном случае редактор бы выбросил первые две рецензии в мусорное ведро и пошёл бы искать новых рецензентов, что затянуло бы процесс ещё на пару месяцев, но такого epic fail'а бы не случилось.
Но редактировать журналы... вы угадали, некому и незачем. Звание редактора тоже ничего никому не даёт, кроме лишней работы. И я совершенно не знаю, что делать с этим: даже когда журналы берут заметные деньги (а open access журналы ещё как берут!), делиться ими с редакторами скорее всего было бы неправильной мотивацией, что привело бы к разным неприятным эффектам.
С другой стороны, другой мотивации вряд ли можно найти, прямо сейчас система явно уже не работает как должно, и вполне возможно, что эти эффекты — меньшее зло. Не знаю. А вы как думаете?
#ai #research #fun
🤔26🤯18❤8👀5🔥2
В курсе "Введение в глубокое обучение" в ЮФУ от бандитов перешли собственно к настоящему обучению с подкреплением:
ЮФУ — 2026.05.07 — Постановки задач RL и уравнения Беллмана
(слайды и доска на странице курса)
Я рассказал в целом обо всей общей постановочной стороне вопроса: что мы делаем (ищем оптимальную стратегию), как мы это пытаемся делать (или напрямую, или через функции значений), как это делать в лоб (решать уравнения Беллмана) и почему в лоб не получается.
На этом месте я почувствовал, что переходить от постановок задач к собственно их решениям всё-таки будет уже тяжеловато для аудитории; напомню, что это вводный обзорный курс ML для первокурсников. Так что закруглился на общих словах о том, какие вообще методы в RL бывают, и надеюсь, что курс об обучении с подкреплением у студентов ЮФУ ещё будет отдельный. Когда-нибудь потом.
Так что в этом курсе я экскурс в RL завершу и буду дальше двигаться обратно к LLM. Зато произошло сближение двух траекторий, и в обычном моём курсе в СПбГУ тоже настало время обучения с подкреплением. Но об этом я уж расскажу отдельно.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.07 — Постановки задач RL и уравнения Беллмана
(слайды и доска на странице курса)
Я рассказал в целом обо всей общей постановочной стороне вопроса: что мы делаем (ищем оптимальную стратегию), как мы это пытаемся делать (или напрямую, или через функции значений), как это делать в лоб (решать уравнения Беллмана) и почему в лоб не получается.
На этом месте я почувствовал, что переходить от постановок задач к собственно их решениям всё-таки будет уже тяжеловато для аудитории; напомню, что это вводный обзорный курс ML для первокурсников. Так что закруглился на общих словах о том, какие вообще методы в RL бывают, и надеюсь, что курс об обучении с подкреплением у студентов ЮФУ ещё будет отдельный. Когда-нибудь потом.
Так что в этом курсе я экскурс в RL завершу и буду дальше двигаться обратно к LLM. Зато произошло сближение двух траекторий, и в обычном моём курсе в СПбГУ тоже настало время обучения с подкреплением. Но об этом я уж расскажу отдельно.
#sfu #lectures #dsfrontiers
🔥8❤3
Да, так вот, продолжая вчерашний разговор, в курсе "Графические вероятностные модели" я тоже добрался до обучения с подкреплением:
СПбГУ — 2026.05.08 — Многорукие бандиты и введение в RL
(слайды и доска, как всегда, на странице курса)
Первая тема, как всегда бывает, многорукие бандиты: как выбрать, за какую ручку дёргать, если награды их стохастичны и неизвестны заранее. Обсудили постановку задачи, понятие цены обучения (regret), принцип оптимизма при неопределённости и семейство алгоритмов UCB; про это всё показал даже какой-то код с экспериментами, хотя, конечно, как всегда рудиментарный. Кратко рассказал о других бандитских постановках: нестационарных, конкурентных и контекстуальных бандитах.
А потом перешли к полноценному RL: обсудили формальную постановку задачи (марковский процесс принятия решений, Markov decision process), целевую функцию для оптимизации (return, который не надо путать с reward), функции значений (value functions, V и Q). И здесь тоже мы успели понять, что теоретически в RL можно тупо решать уравнения Беллмана, но на практике это не получается. А ещё успел обсудить policy improvement theorem и метод policy iteration, который из неё следует.
Но если в ЮФУ мы на этом и закончили, то в СПбГУ основное содержание ещё впереди: на следующих лекциях мы должны и понять математические основы происходящего, и дойти до самых современных методов обучения с подкреплением (не всех, конечно, но кое-каких).
#spsu #lectures #pgm2026
СПбГУ — 2026.05.08 — Многорукие бандиты и введение в RL
(слайды и доска, как всегда, на странице курса)
Первая тема, как всегда бывает, многорукие бандиты: как выбрать, за какую ручку дёргать, если награды их стохастичны и неизвестны заранее. Обсудили постановку задачи, понятие цены обучения (regret), принцип оптимизма при неопределённости и семейство алгоритмов UCB; про это всё показал даже какой-то код с экспериментами, хотя, конечно, как всегда рудиментарный. Кратко рассказал о других бандитских постановках: нестационарных, конкурентных и контекстуальных бандитах.
А потом перешли к полноценному RL: обсудили формальную постановку задачи (марковский процесс принятия решений, Markov decision process), целевую функцию для оптимизации (return, который не надо путать с reward), функции значений (value functions, V и Q). И здесь тоже мы успели понять, что теоретически в RL можно тупо решать уравнения Беллмана, но на практике это не получается. А ещё успел обсудить policy improvement theorem и метод policy iteration, который из неё следует.
Но если в ЮФУ мы на этом и закончили, то в СПбГУ основное содержание ещё впереди: на следующих лекциях мы должны и понять математические основы происходящего, и дойти до самых современных методов обучения с подкреплением (не всех, конечно, но кое-каких).
#spsu #lectures #pgm2026
❤6🔥5👍1