Появилось видео доклада про VQ-VAE с семинара лаборатории Маркова:
VQ-VAE и что из него получилось
(Слайды на странице семинара)
Как я уже говорил, Захар Варфоломеев отлично рассказал и про базовую конструкцию, и про то, куда она дальше развивалась. И это настолько удачно попало в последовательность курса "Глубокое обучение", что я буду считать этот доклад одной из лекций того курса; собственно, в прошлый раз мы уже перескочили VQ-VAE и пошли дальше.
Кстати, у Захара есть свой канал, подписывайтесь: https://t.me/vf_science
#spsu #seminar #markovlab
VQ-VAE и что из него получилось
(Слайды на странице семинара)
Как я уже говорил, Захар Варфоломеев отлично рассказал и про базовую конструкцию, и про то, куда она дальше развивалась. И это настолько удачно попало в последовательность курса "Глубокое обучение", что я буду считать этот доклад одной из лекций того курса; собственно, в прошлый раз мы уже перескочили VQ-VAE и пошли дальше.
Кстати, у Захара есть свой канал, подписывайтесь: https://t.me/vf_science
#spsu #seminar #markovlab
❤9👍2🔥2🥴2
В среду снова радикально меняем тему; на этот раз у нас практически классическое машинное обучение, да ещё и с байесовским уклоном. Уверен, что в исполнении Максима будет интересно.
BART
Ссылка на трансляцию (среда 19 ноября, 14:00)
Максим Николаев
(МКН СПбГУ)
BART, Bayesian Additive Regression Trees — это непараметрическая модель, которая наследует выразительность от ансамблей деревьев решений и описание неопределённости от байесовского подхода. Как это часто бывает, апостериорное распределение этой модели краткой аналитической формы не имеет, поэтому для работы с ней используются методы Монте-Карло на марковских цепях (MCMC).
Мы обсудим устройство модели, а также используемые методы MCMC. В оставшееся время обсудим направления для дальнейших исследований. Материал не требует специфической подготовки, но будет полезным понимание основных понятий теории цепей Маркова вплоть до стационарного распределения.
#spsu #seminar #markovlab
BART
Ссылка на трансляцию (среда 19 ноября, 14:00)
Максим Николаев
(МКН СПбГУ)
BART, Bayesian Additive Regression Trees — это непараметрическая модель, которая наследует выразительность от ансамблей деревьев решений и описание неопределённости от байесовского подхода. Как это часто бывает, апостериорное распределение этой модели краткой аналитической формы не имеет, поэтому для работы с ней используются методы Монте-Карло на марковских цепях (MCMC).
Мы обсудим устройство модели, а также используемые методы MCMC. В оставшееся время обсудим направления для дальнейших исследований. Материал не требует специфической подготовки, но будет полезным понимание основных понятий теории цепей Маркова вплоть до стационарного распределения.
#spsu #seminar #markovlab
🔥22❤2👍2
Вчера читал гостевую лекцию на "Студкемпе по математике AI", который организовывал в основном наш ФМКН. Мне предложили рассказать о диффузионных моделях, что на самом деле было довольно удивительным выбором, потому что это тема очень непростая математически и требующая большого предварительного погружения в материал. Но я был только рад, потому что это идеально укладывалось в последовательность моего курса "Глубокое обучение".
Так что рассказал таки о диффузии — не знаю уж, что осталось в головах слушателей, но постарался сделать введение про порождающие модели вообще и подвести к тому, где место диффузионок в этом зоопарке. По крайней мере, в курс эта лекция точно вошла как влитая, в четверг будем продолжать этот разговор.
Лекция была в ПОМИ, сначала долгое время были технические проблемы, в результате получилось поменьше полутора часов, но что поделать:
СПбГУ — 2025.11.17 — Введение в диффузионные модели
(слайды на странице курса)
Я выкладываю это видео сейчас, потому что в четверг уже нужно будет двигаться дальше в курсе "Глубокое обучение". Но думаю, что потом ещё получу записи видео с камер от организаторов, сделаю монтаж и выложу нормальное видео; сейчас там доска совсем не видна. Впрочем, для моих преданных слушателей это не страшно, на доске там нет почти ничего, что мы бы не обсуждали подробно в предыдущих лекциях курса.
#spsu #talks #lectures #dl2025
Так что рассказал таки о диффузии — не знаю уж, что осталось в головах слушателей, но постарался сделать введение про порождающие модели вообще и подвести к тому, где место диффузионок в этом зоопарке. По крайней мере, в курс эта лекция точно вошла как влитая, в четверг будем продолжать этот разговор.
Лекция была в ПОМИ, сначала долгое время были технические проблемы, в результате получилось поменьше полутора часов, но что поделать:
СПбГУ — 2025.11.17 — Введение в диффузионные модели
(слайды на странице курса)
Я выкладываю это видео сейчас, потому что в четверг уже нужно будет двигаться дальше в курсе "Глубокое обучение". Но думаю, что потом ещё получу записи видео с камер от организаторов, сделаю монтаж и выложу нормальное видео; сейчас там доска совсем не видна. Впрочем, для моих преданных слушателей это не страшно, на доске там нет почти ничего, что мы бы не обсуждали подробно в предыдущих лекциях курса.
#spsu #talks #lectures #dl2025
❤10🔥3👏3
В курсе "Технологии и фронтиры науки о данных" в ЮФУ дошли до более интересной части. В прошлый четверг медленно и подробно обсуждали линейную регрессию:
ЮФУ — 2025.11.13 — Линейная регрессия
(слайды, доска и код на странице курса)
Линейная регрессия хороша тем, что это первый пример, на котором уже абсолютно всё про байесовский вывод видно, но при этом всё ещё всё достаточно наглядно, чтобы и формулы вывести (этим мы, правда, в этом курсе вряд ли будем заниматься), и картинки нарисовать.
Но если действительно говорить подробно и с нуля обо всём, что составляет линейную регрессию как модель машинного обучения, то получается довольно долго.) В этот раз за два с половиной часа я успел взять градиент от квадратичной формы, получить метод наименьших квадратов, обсудить его вероятностные предположения и функцию правдоподобия с гауссовским шумом, а потом рассказать о полиномиальных и локальных признаках, которые сильно расширяют возможности линейной регрессии.
Впрочем, я искренне считаю, что лучше медленно и понятно, чем быстро и непонятно. Надеюсь, что я со своими лекциями всё-таки именно в этом квадранте, а не в самом плохом.)
#sfu #lectures #dsfrontiers
ЮФУ — 2025.11.13 — Линейная регрессия
(слайды, доска и код на странице курса)
Линейная регрессия хороша тем, что это первый пример, на котором уже абсолютно всё про байесовский вывод видно, но при этом всё ещё всё достаточно наглядно, чтобы и формулы вывести (этим мы, правда, в этом курсе вряд ли будем заниматься), и картинки нарисовать.
Но если действительно говорить подробно и с нуля обо всём, что составляет линейную регрессию как модель машинного обучения, то получается довольно долго.) В этот раз за два с половиной часа я успел взять градиент от квадратичной формы, получить метод наименьших квадратов, обсудить его вероятностные предположения и функцию правдоподобия с гауссовским шумом, а потом рассказать о полиномиальных и локальных признаках, которые сильно расширяют возможности линейной регрессии.
Впрочем, я искренне считаю, что лучше медленно и понятно, чем быстро и непонятно. Надеюсь, что я со своими лекциями всё-таки именно в этом квадранте, а не в самом плохом.)
#sfu #lectures #dsfrontiers
❤17🔥5
На этой неделе я что-то подразболелся. С горлом, тьфу-тьфу, всё не так плохо, так что лекции не отменяю, но на семинар не пошёл, и традиционное фото сегодня без меня.
А доклад, как и ожидалось, был крутой, понятный и концептуально богатый; вошёл бы как влитой во второй семестр моего курса, но что уж там. Надеюсь, Максим ещё не раз выступит у нас на семинаре.
#spsu #seminar #markovlab
А доклад, как и ожидалось, был крутой, понятный и концептуально богатый; вошёл бы как влитой во второй семестр моего курса, но что уж там. Надеюсь, Максим ещё не раз выступит у нас на семинаре.
#spsu #seminar #markovlab
❤18
Сегодня у меня для вас вместо анонса обычного доклада в лаборатории Маркова анонс мероприятия посерьёзнее: в следующую среду, 26 ноября, в СПбГУ состоится большой семинар с участием коллег из AIRI (Институт AI Сбера).
Начало в 12:00, в главном здании СПбГУ. Расписание и подробности на страничке мероприятия:
Совместный семинар СПбГУ и AIRI по искусственному интеллекту, математике и компьютерным наукам
Будет несколько относительно коротких докладов от ведущих специалистов AIRI про их науку, а потом большая дискуссия С.К. Смирнова и И.В. Оселедца про математику и искусственный интеллект. Вести дискуссию будет ваш покорный слуга, но думаю, что сам буду скорее внимать и переспрашивать.) Записей и трансляций, насколько я понял, не планируется.
Для прохода на территорию СПбГУ нужно попасть в список, а для этого нужно зарегистрироваться. Ссылка на регистрацию есть на страничке выше, но вот и прямая ссылка тоже.
Приходите!
#spsu #markovlab #talks #events
Начало в 12:00, в главном здании СПбГУ. Расписание и подробности на страничке мероприятия:
Совместный семинар СПбГУ и AIRI по искусственному интеллекту, математике и компьютерным наукам
Будет несколько относительно коротких докладов от ведущих специалистов AIRI про их науку, а потом большая дискуссия С.К. Смирнова и И.В. Оселедца про математику и искусственный интеллект. Вести дискуссию будет ваш покорный слуга, но думаю, что сам буду скорее внимать и переспрашивать.) Записей и трансляций, насколько я понял, не планируется.
Для прохода на территорию СПбГУ нужно попасть в список, а для этого нужно зарегистрироваться. Ссылка на регистрацию есть на страничке выше, но вот и прямая ссылка тоже.
Приходите!
#spsu #markovlab #talks #events
🔥19❤3👏2👍1😱1
В целом про семейство моделей от ЛеКуна все русскоязычные исследователи уже много лет назад отшутились. Но тут на днях вышла ещё одна с настолько потрясающим названием, что я не выдержал и впервые в жизни сделал мем-картинку своими руками.)
https://arxiv.org/abs/2511.08544
Кстати, говорят, что ЛеКун уходит от своего работодателя. Вряд ли это так уж много значит для вечности, конечно, но желаю всяческого успеха и надеюсь, что теперь у него будет возможность ещё интереснее двигать науку.
#news #misc #ai
https://arxiv.org/abs/2511.08544
Кстати, говорят, что ЛеКун уходит от своего работодателя. Вряд ли это так уж много значит для вечности, конечно, но желаю всяческого успеха и надеюсь, что теперь у него будет возможность ещё интереснее двигать науку.
#news #misc #ai
😁28❤6
У циничных телевизионщиков аббревиатура ТЖД (“тяжёлая женская доля”) означает женские мелодрамы, в которых с простыми русскими (или не русскими) женщинами постоянно происходят всякие неприятности. И сегодня у нас три маленьких игры как раз про это; но они раскрывают тему с весьма разнообразных позиций! Читайте по ссылке, здесь сокращённая версия:
ТЖД: Leila, Василиса и Dark Queen of Mortholme
Leila
Идея выложить эти обзоры под общим названием “ТЖД” выросла, конечно, в основном из этой игры. Простите мне эту минутку махрового, беспробудного сексизма, но это буквально самая женская игра, что я видел в своей жизни, ультимативная “ТЖД: The Game”. Вся игра посвящена тому, что быть женщиной даже в современном обществе трудно и часто неприятно, тому, как это вырастает из детства и может продолжаться всю жизнь.
И надо сказать, что это хорошо сделано [...] По жанру это вроде как puzzle game, и там действительно есть несколько загадок, над которыми можно немного подумать, но смысл, конечно, не в загадках, а в художественном высказывании. Оно в итоге получается законченным и ясным; игра проходится за два часа и оставляет очень приятное впечатление. Проверено на настоящей женщине и полностью ею одобрено, кстати.
Василиса и Баба-Яга
Здесь мы встречаем старинный, народный взгляд на тему: это игроизация классической сказки про Василису, близко к тексту. [...] Игру сделала инди-студия из Санкт-Петербурга с логичным названием Baba Yaga Games, [...] и обзоры у игры если не совсем блестящие, то уж точно комплиментарные. Казалось бы, мне это должно было весьма понравиться — вот недавно “Лихо Одноглазое” очень даже зашло.
Но игра, честно говоря, на мой взгляд просто плохая. Визуальный стиль действительно оригинальный [...] Но все анимации сделаны при этом максимально лениво, и это уже не стиль. Геймплей едва заслуживает называться этим словом [...] Я в целом не против того, чтобы у игры не было геймплея вовсе, и лучше никакого, чем такой.
Единственное, что действительно искренне понравилось — это озвучка. Я тут вообще не специалист, но сказку читают с неким региональным акцентом и элементами диалекта, и это звучит круто, на мой неискушённый слух вполне аутентично. Тем не менее, порекомендовать игру всё равно не могу.
The Dark Queen of Mortholme
А это совсем уж мини-игра, основанная на любопытной идее: ты играешь за кого-то вроде босса из Dark Souls, ту самую Dark Queen of Mortholme. К тебе приходит приключенец, которого ты сначала легко уничтожаешь одним ударом, но постепенно он выучивает твой мувсет, а потом и вторую фазу… [...]
Ты понимаешь, что у тебя в рукаве нет ничего, и ты не можешь ничему обучиться, а вот приключенец всё время совершенствуется. И всё это время вы ведёте друг с другом разговоры. Честно говоря, мне кажется, что из этой идеи можно было выжать гораздо больше, но и так любопытно ознакомиться, это именно что мини-зарисовка меньше чем на полчаса геймплея.
#tgif #games
ТЖД: Leila, Василиса и Dark Queen of Mortholme
Leila
Идея выложить эти обзоры под общим названием “ТЖД” выросла, конечно, в основном из этой игры. Простите мне эту минутку махрового, беспробудного сексизма, но это буквально самая женская игра, что я видел в своей жизни, ультимативная “ТЖД: The Game”. Вся игра посвящена тому, что быть женщиной даже в современном обществе трудно и часто неприятно, тому, как это вырастает из детства и может продолжаться всю жизнь.
И надо сказать, что это хорошо сделано [...] По жанру это вроде как puzzle game, и там действительно есть несколько загадок, над которыми можно немного подумать, но смысл, конечно, не в загадках, а в художественном высказывании. Оно в итоге получается законченным и ясным; игра проходится за два часа и оставляет очень приятное впечатление. Проверено на настоящей женщине и полностью ею одобрено, кстати.
Василиса и Баба-Яга
Здесь мы встречаем старинный, народный взгляд на тему: это игроизация классической сказки про Василису, близко к тексту. [...] Игру сделала инди-студия из Санкт-Петербурга с логичным названием Baba Yaga Games, [...] и обзоры у игры если не совсем блестящие, то уж точно комплиментарные. Казалось бы, мне это должно было весьма понравиться — вот недавно “Лихо Одноглазое” очень даже зашло.
Но игра, честно говоря, на мой взгляд просто плохая. Визуальный стиль действительно оригинальный [...] Но все анимации сделаны при этом максимально лениво, и это уже не стиль. Геймплей едва заслуживает называться этим словом [...] Я в целом не против того, чтобы у игры не было геймплея вовсе, и лучше никакого, чем такой.
Единственное, что действительно искренне понравилось — это озвучка. Я тут вообще не специалист, но сказку читают с неким региональным акцентом и элементами диалекта, и это звучит круто, на мой неискушённый слух вполне аутентично. Тем не менее, порекомендовать игру всё равно не могу.
The Dark Queen of Mortholme
А это совсем уж мини-игра, основанная на любопытной идее: ты играешь за кого-то вроде босса из Dark Souls, ту самую Dark Queen of Mortholme. К тебе приходит приключенец, которого ты сначала легко уничтожаешь одним ударом, но постепенно он выучивает твой мувсет, а потом и вторую фазу… [...]
Ты понимаешь, что у тебя в рукаве нет ничего, и ты не можешь ничему обучиться, а вот приключенец всё время совершенствуется. И всё это время вы ведёте друг с другом разговоры. Честно говоря, мне кажется, что из этой идеи можно было выжать гораздо больше, но и так любопытно ознакомиться, это именно что мини-зарисовка меньше чем на полчаса геймплея.
#tgif #games
🔥13❤7👀1
В курсе "Основы байесовского вывода" в четверг был день большого развёрнутого примера:
СПбГУ — 2025.11.20 — Пример Джейнса
(слайды и доска на странице курса)
Пример интересный и показывающий разные виды априорных распределений и некоторые интересные варианты того, как априорные распределения могут выражать самую разную интуицию. В одной части примера видно, как априорное распределение выражает в целом чисто логические следствия, а в другой вводится так называемый binomial monkey prior (распределение биномиальных обезьян), который приводит к тому, что данные вообще перестают влиять на предсказания модели.
Но здесь я лучше расскажу про самого Эдвина Томпсона Джейнса. Он был физиком, занимался статистической механикой, первым ввёл в термодинамику принцип максимума энтропии и всё такое. Но мы его любим не за это, а за то, что Джейнс был одним из главных байесианистов двадцатого века и много работал над основаниями теории вероятностей.
Я очень рекомендую его книгу Probability Theory: The Logic of Science; она вышла уже посмертно, в 2003 году, и в ней не только приводится рассказанный на лекции пример, но и вообще построено здание теории вероятностей на байесовских принципах. Легко читается (технические детали часто можно пропускать) и очень хорошо мозги на место ставит.
#spsu #lectures #bayes2025
СПбГУ — 2025.11.20 — Пример Джейнса
(слайды и доска на странице курса)
Пример интересный и показывающий разные виды априорных распределений и некоторые интересные варианты того, как априорные распределения могут выражать самую разную интуицию. В одной части примера видно, как априорное распределение выражает в целом чисто логические следствия, а в другой вводится так называемый binomial monkey prior (распределение биномиальных обезьян), который приводит к тому, что данные вообще перестают влиять на предсказания модели.
Но здесь я лучше расскажу про самого Эдвина Томпсона Джейнса. Он был физиком, занимался статистической механикой, первым ввёл в термодинамику принцип максимума энтропии и всё такое. Но мы его любим не за это, а за то, что Джейнс был одним из главных байесианистов двадцатого века и много работал над основаниями теории вероятностей.
Я очень рекомендую его книгу Probability Theory: The Logic of Science; она вышла уже посмертно, в 2003 году, и в ней не только приводится рассказанный на лекции пример, но и вообще построено здание теории вероятностей на байесовских принципах. Легко читается (технические детали часто можно пропускать) и очень хорошо мозги на место ставит.
#spsu #lectures #bayes2025
❤15🔥3
А в курсе "Глубокое обучение" всё-таки обсудили диффузионные модели ещё раз, подробно и в деталях:
СПбГУ — 2025.11.20 — Как работают диффузионные модели
(слайды, доска и код на странице курса)
В частности, впервые в своих курсах в деталях рассказал о том, как работает DDIM и в чём там новизна и суть; это действительно интересная идея. Правда, на то, чтобы в деталях разобраться в непрерывной математике и рассказать ещё и про диффуры, меня всё-таки не хватило, и думаю, что уже не хватит, пора двигаться дальше, а то до языковых моделей не успеем дойти.
#spsu #lectures #dl2025
СПбГУ — 2025.11.20 — Как работают диффузионные модели
(слайды, доска и код на странице курса)
В частности, впервые в своих курсах в деталях рассказал о том, как работает DDIM и в чём там новизна и суть; это действительно интересная идея. Правда, на то, чтобы в деталях разобраться в непрерывной математике и рассказать ещё и про диффуры, меня всё-таки не хватило, и думаю, что уже не хватит, пора двигаться дальше, а то до языковых моделей не успеем дойти.
#spsu #lectures #dl2025
❤11
И ещё один небольшой анонс. На этой неделе Центр искусственного интеллекта СПбГУ проводит конференцию "ИИ и математика: практическое применение и образование". По ссылке можно нажать на стрелочку и увидеть программу конференции.
Я там выступаю в среду, когда конференция будет в Менделеев-холле (по красивому адресу Невский 1). Сначала в 11 часов расскажу о своём курса машинного обучения — откуда он взялся и на чём основан — а потом в 16 часов пообсуждаем AI и образование на круглом столе.
Мне кажется, должно получиться интересно, я раньше таких докладов в жизни не читал, будет something completely different.
Всех приглашаю, но должен предупредить, что зарегистрироваться обязательно нужно заранее, и конференция платная — если я правильно понял, 1300 рублей за все дни, из которых первый уже сегодня прошёл.) Надеюсь (но, увы, не обещаю), что мы или устроим трансляцию происходящего в среду, или хотя бы всё запишем и выложим потом.
#talks #spsu #events
Я там выступаю в среду, когда конференция будет в Менделеев-холле (по красивому адресу Невский 1). Сначала в 11 часов расскажу о своём курса машинного обучения — откуда он взялся и на чём основан — а потом в 16 часов пообсуждаем AI и образование на круглом столе.
Мне кажется, должно получиться интересно, я раньше таких докладов в жизни не читал, будет something completely different.
Всех приглашаю, но должен предупредить, что зарегистрироваться обязательно нужно заранее, и конференция платная — если я правильно понял, 1300 рублей за все дни, из которых первый уже сегодня прошёл.) Надеюсь (но, увы, не обещаю), что мы или устроим трансляцию происходящего в среду, или хотя бы всё запишем и выложим потом.
#talks #spsu #events
🔥8❤7👍1