На этой неделе я что-то подразболелся. С горлом, тьфу-тьфу, всё не так плохо, так что лекции не отменяю, но на семинар не пошёл, и традиционное фото сегодня без меня.
А доклад, как и ожидалось, был крутой, понятный и концептуально богатый; вошёл бы как влитой во второй семестр моего курса, но что уж там. Надеюсь, Максим ещё не раз выступит у нас на семинаре.
#spsu #seminar #markovlab
А доклад, как и ожидалось, был крутой, понятный и концептуально богатый; вошёл бы как влитой во второй семестр моего курса, но что уж там. Надеюсь, Максим ещё не раз выступит у нас на семинаре.
#spsu #seminar #markovlab
❤18
Сегодня у меня для вас вместо анонса обычного доклада в лаборатории Маркова анонс мероприятия посерьёзнее: в следующую среду, 26 ноября, в СПбГУ состоится большой семинар с участием коллег из AIRI (Институт AI Сбера).
Начало в 12:00, в главном здании СПбГУ. Расписание и подробности на страничке мероприятия:
Совместный семинар СПбГУ и AIRI по искусственному интеллекту, математике и компьютерным наукам
Будет несколько относительно коротких докладов от ведущих специалистов AIRI про их науку, а потом большая дискуссия С.К. Смирнова и И.В. Оселедца про математику и искусственный интеллект. Вести дискуссию будет ваш покорный слуга, но думаю, что сам буду скорее внимать и переспрашивать.) Записей и трансляций, насколько я понял, не планируется.
Для прохода на территорию СПбГУ нужно попасть в список, а для этого нужно зарегистрироваться. Ссылка на регистрацию есть на страничке выше, но вот и прямая ссылка тоже.
Приходите!
#spsu #markovlab #talks #events
Начало в 12:00, в главном здании СПбГУ. Расписание и подробности на страничке мероприятия:
Совместный семинар СПбГУ и AIRI по искусственному интеллекту, математике и компьютерным наукам
Будет несколько относительно коротких докладов от ведущих специалистов AIRI про их науку, а потом большая дискуссия С.К. Смирнова и И.В. Оселедца про математику и искусственный интеллект. Вести дискуссию будет ваш покорный слуга, но думаю, что сам буду скорее внимать и переспрашивать.) Записей и трансляций, насколько я понял, не планируется.
Для прохода на территорию СПбГУ нужно попасть в список, а для этого нужно зарегистрироваться. Ссылка на регистрацию есть на страничке выше, но вот и прямая ссылка тоже.
Приходите!
#spsu #markovlab #talks #events
🔥19❤3👏2👍1😱1
В целом про семейство моделей от ЛеКуна все русскоязычные исследователи уже много лет назад отшутились. Но тут на днях вышла ещё одна с настолько потрясающим названием, что я не выдержал и впервые в жизни сделал мем-картинку своими руками.)
https://arxiv.org/abs/2511.08544
Кстати, говорят, что ЛеКун уходит от своего работодателя. Вряд ли это так уж много значит для вечности, конечно, но желаю всяческого успеха и надеюсь, что теперь у него будет возможность ещё интереснее двигать науку.
#news #misc #ai
https://arxiv.org/abs/2511.08544
Кстати, говорят, что ЛеКун уходит от своего работодателя. Вряд ли это так уж много значит для вечности, конечно, но желаю всяческого успеха и надеюсь, что теперь у него будет возможность ещё интереснее двигать науку.
#news #misc #ai
😁28❤6
У циничных телевизионщиков аббревиатура ТЖД (“тяжёлая женская доля”) означает женские мелодрамы, в которых с простыми русскими (или не русскими) женщинами постоянно происходят всякие неприятности. И сегодня у нас три маленьких игры как раз про это; но они раскрывают тему с весьма разнообразных позиций! Читайте по ссылке, здесь сокращённая версия:
ТЖД: Leila, Василиса и Dark Queen of Mortholme
Leila
Идея выложить эти обзоры под общим названием “ТЖД” выросла, конечно, в основном из этой игры. Простите мне эту минутку махрового, беспробудного сексизма, но это буквально самая женская игра, что я видел в своей жизни, ультимативная “ТЖД: The Game”. Вся игра посвящена тому, что быть женщиной даже в современном обществе трудно и часто неприятно, тому, как это вырастает из детства и может продолжаться всю жизнь.
И надо сказать, что это хорошо сделано [...] По жанру это вроде как puzzle game, и там действительно есть несколько загадок, над которыми можно немного подумать, но смысл, конечно, не в загадках, а в художественном высказывании. Оно в итоге получается законченным и ясным; игра проходится за два часа и оставляет очень приятное впечатление. Проверено на настоящей женщине и полностью ею одобрено, кстати.
Василиса и Баба-Яга
Здесь мы встречаем старинный, народный взгляд на тему: это игроизация классической сказки про Василису, близко к тексту. [...] Игру сделала инди-студия из Санкт-Петербурга с логичным названием Baba Yaga Games, [...] и обзоры у игры если не совсем блестящие, то уж точно комплиментарные. Казалось бы, мне это должно было весьма понравиться — вот недавно “Лихо Одноглазое” очень даже зашло.
Но игра, честно говоря, на мой взгляд просто плохая. Визуальный стиль действительно оригинальный [...] Но все анимации сделаны при этом максимально лениво, и это уже не стиль. Геймплей едва заслуживает называться этим словом [...] Я в целом не против того, чтобы у игры не было геймплея вовсе, и лучше никакого, чем такой.
Единственное, что действительно искренне понравилось — это озвучка. Я тут вообще не специалист, но сказку читают с неким региональным акцентом и элементами диалекта, и это звучит круто, на мой неискушённый слух вполне аутентично. Тем не менее, порекомендовать игру всё равно не могу.
The Dark Queen of Mortholme
А это совсем уж мини-игра, основанная на любопытной идее: ты играешь за кого-то вроде босса из Dark Souls, ту самую Dark Queen of Mortholme. К тебе приходит приключенец, которого ты сначала легко уничтожаешь одним ударом, но постепенно он выучивает твой мувсет, а потом и вторую фазу… [...]
Ты понимаешь, что у тебя в рукаве нет ничего, и ты не можешь ничему обучиться, а вот приключенец всё время совершенствуется. И всё это время вы ведёте друг с другом разговоры. Честно говоря, мне кажется, что из этой идеи можно было выжать гораздо больше, но и так любопытно ознакомиться, это именно что мини-зарисовка меньше чем на полчаса геймплея.
#tgif #games
ТЖД: Leila, Василиса и Dark Queen of Mortholme
Leila
Идея выложить эти обзоры под общим названием “ТЖД” выросла, конечно, в основном из этой игры. Простите мне эту минутку махрового, беспробудного сексизма, но это буквально самая женская игра, что я видел в своей жизни, ультимативная “ТЖД: The Game”. Вся игра посвящена тому, что быть женщиной даже в современном обществе трудно и часто неприятно, тому, как это вырастает из детства и может продолжаться всю жизнь.
И надо сказать, что это хорошо сделано [...] По жанру это вроде как puzzle game, и там действительно есть несколько загадок, над которыми можно немного подумать, но смысл, конечно, не в загадках, а в художественном высказывании. Оно в итоге получается законченным и ясным; игра проходится за два часа и оставляет очень приятное впечатление. Проверено на настоящей женщине и полностью ею одобрено, кстати.
Василиса и Баба-Яга
Здесь мы встречаем старинный, народный взгляд на тему: это игроизация классической сказки про Василису, близко к тексту. [...] Игру сделала инди-студия из Санкт-Петербурга с логичным названием Baba Yaga Games, [...] и обзоры у игры если не совсем блестящие, то уж точно комплиментарные. Казалось бы, мне это должно было весьма понравиться — вот недавно “Лихо Одноглазое” очень даже зашло.
Но игра, честно говоря, на мой взгляд просто плохая. Визуальный стиль действительно оригинальный [...] Но все анимации сделаны при этом максимально лениво, и это уже не стиль. Геймплей едва заслуживает называться этим словом [...] Я в целом не против того, чтобы у игры не было геймплея вовсе, и лучше никакого, чем такой.
Единственное, что действительно искренне понравилось — это озвучка. Я тут вообще не специалист, но сказку читают с неким региональным акцентом и элементами диалекта, и это звучит круто, на мой неискушённый слух вполне аутентично. Тем не менее, порекомендовать игру всё равно не могу.
The Dark Queen of Mortholme
А это совсем уж мини-игра, основанная на любопытной идее: ты играешь за кого-то вроде босса из Dark Souls, ту самую Dark Queen of Mortholme. К тебе приходит приключенец, которого ты сначала легко уничтожаешь одним ударом, но постепенно он выучивает твой мувсет, а потом и вторую фазу… [...]
Ты понимаешь, что у тебя в рукаве нет ничего, и ты не можешь ничему обучиться, а вот приключенец всё время совершенствуется. И всё это время вы ведёте друг с другом разговоры. Честно говоря, мне кажется, что из этой идеи можно было выжать гораздо больше, но и так любопытно ознакомиться, это именно что мини-зарисовка меньше чем на полчаса геймплея.
#tgif #games
🔥13❤7👀1
В курсе "Основы байесовского вывода" в четверг был день большого развёрнутого примера:
СПбГУ — 2025.11.20 — Пример Джейнса
(слайды и доска на странице курса)
Пример интересный и показывающий разные виды априорных распределений и некоторые интересные варианты того, как априорные распределения могут выражать самую разную интуицию. В одной части примера видно, как априорное распределение выражает в целом чисто логические следствия, а в другой вводится так называемый binomial monkey prior (распределение биномиальных обезьян), который приводит к тому, что данные вообще перестают влиять на предсказания модели.
Но здесь я лучше расскажу про самого Эдвина Томпсона Джейнса. Он был физиком, занимался статистической механикой, первым ввёл в термодинамику принцип максимума энтропии и всё такое. Но мы его любим не за это, а за то, что Джейнс был одним из главных байесианистов двадцатого века и много работал над основаниями теории вероятностей.
Я очень рекомендую его книгу Probability Theory: The Logic of Science; она вышла уже посмертно, в 2003 году, и в ней не только приводится рассказанный на лекции пример, но и вообще построено здание теории вероятностей на байесовских принципах. Легко читается (технические детали часто можно пропускать) и очень хорошо мозги на место ставит.
#spsu #lectures #bayes2025
СПбГУ — 2025.11.20 — Пример Джейнса
(слайды и доска на странице курса)
Пример интересный и показывающий разные виды априорных распределений и некоторые интересные варианты того, как априорные распределения могут выражать самую разную интуицию. В одной части примера видно, как априорное распределение выражает в целом чисто логические следствия, а в другой вводится так называемый binomial monkey prior (распределение биномиальных обезьян), который приводит к тому, что данные вообще перестают влиять на предсказания модели.
Но здесь я лучше расскажу про самого Эдвина Томпсона Джейнса. Он был физиком, занимался статистической механикой, первым ввёл в термодинамику принцип максимума энтропии и всё такое. Но мы его любим не за это, а за то, что Джейнс был одним из главных байесианистов двадцатого века и много работал над основаниями теории вероятностей.
Я очень рекомендую его книгу Probability Theory: The Logic of Science; она вышла уже посмертно, в 2003 году, и в ней не только приводится рассказанный на лекции пример, но и вообще построено здание теории вероятностей на байесовских принципах. Легко читается (технические детали часто можно пропускать) и очень хорошо мозги на место ставит.
#spsu #lectures #bayes2025
❤15🔥3
А в курсе "Глубокое обучение" всё-таки обсудили диффузионные модели ещё раз, подробно и в деталях:
СПбГУ — 2025.11.20 — Как работают диффузионные модели
(слайды, доска и код на странице курса)
В частности, впервые в своих курсах в деталях рассказал о том, как работает DDIM и в чём там новизна и суть; это действительно интересная идея. Правда, на то, чтобы в деталях разобраться в непрерывной математике и рассказать ещё и про диффуры, меня всё-таки не хватило, и думаю, что уже не хватит, пора двигаться дальше, а то до языковых моделей не успеем дойти.
#spsu #lectures #dl2025
СПбГУ — 2025.11.20 — Как работают диффузионные модели
(слайды, доска и код на странице курса)
В частности, впервые в своих курсах в деталях рассказал о том, как работает DDIM и в чём там новизна и суть; это действительно интересная идея. Правда, на то, чтобы в деталях разобраться в непрерывной математике и рассказать ещё и про диффуры, меня всё-таки не хватило, и думаю, что уже не хватит, пора двигаться дальше, а то до языковых моделей не успеем дойти.
#spsu #lectures #dl2025
❤11
И ещё один небольшой анонс. На этой неделе Центр искусственного интеллекта СПбГУ проводит конференцию "ИИ и математика: практическое применение и образование". По ссылке можно нажать на стрелочку и увидеть программу конференции.
Я там выступаю в среду, когда конференция будет в Менделеев-холле (по красивому адресу Невский 1). Сначала в 11 часов расскажу о своём курса машинного обучения — откуда он взялся и на чём основан — а потом в 16 часов пообсуждаем AI и образование на круглом столе.
Мне кажется, должно получиться интересно, я раньше таких докладов в жизни не читал, будет something completely different.
Всех приглашаю, но должен предупредить, что зарегистрироваться обязательно нужно заранее, и конференция платная — если я правильно понял, 1300 рублей за все дни, из которых первый уже сегодня прошёл.) Надеюсь (но, увы, не обещаю), что мы или устроим трансляцию происходящего в среду, или хотя бы всё запишем и выложим потом.
#talks #spsu #events
Я там выступаю в среду, когда конференция будет в Менделеев-холле (по красивому адресу Невский 1). Сначала в 11 часов расскажу о своём курса машинного обучения — откуда он взялся и на чём основан — а потом в 16 часов пообсуждаем AI и образование на круглом столе.
Мне кажется, должно получиться интересно, я раньше таких докладов в жизни не читал, будет something completely different.
Всех приглашаю, но должен предупредить, что зарегистрироваться обязательно нужно заранее, и конференция платная — если я правильно понял, 1300 рублей за все дни, из которых первый уже сегодня прошёл.) Надеюсь (но, увы, не обещаю), что мы или устроим трансляцию происходящего в среду, или хотя бы всё запишем и выложим потом.
#talks #spsu #events
🔥8❤7👍1
Очень давно не писал никаких постов (кроме обзоров игр), сил никаких не было. Их всё ещё нет, но на пост всё-таки сподобился, очень уж любопытная статья вышла. Это не какой-то супермегаbreakthrough, но интересное наблюдение, которое легко объяснить и понять.
Читайте по ссылке (пост, конечно, не влез бы сюда, да и формулы в нём встречаются), тут только абстракт:
Thinking Tokens: что главное в рассуждениях языковых моделей?
Модели семейства OpenAI o1, DeepSeek R1, QwQ, а затем и все остальные произвели очередную мини-революцию в сложных рассуждениях; благодаря им модели резко продвинулись в практически всех видах интеллектуальной деятельности. Но что происходит внутри этих моделей, когда они “думают”? Какие части их рассуждений самые важные?
Новая работа исследователей из Shanghai AI Lab Qian et al. (2025) приподнимает завесу тайны, обнаруживая информационные пики — критические моменты в процессе рассуждения, которые соответствуют особым “thinking tokens”. Мы можем посмотреть, что это за токены, и, более того, понимание этих механизмов имеет практический смысл: авторы предлагают новый простой, но эффективный метод, улучшающий качество рассуждений без дополнительного обучения.
#longreads #ai
Читайте по ссылке (пост, конечно, не влез бы сюда, да и формулы в нём встречаются), тут только абстракт:
Thinking Tokens: что главное в рассуждениях языковых моделей?
Модели семейства OpenAI o1, DeepSeek R1, QwQ, а затем и все остальные произвели очередную мини-революцию в сложных рассуждениях; благодаря им модели резко продвинулись в практически всех видах интеллектуальной деятельности. Но что происходит внутри этих моделей, когда они “думают”? Какие части их рассуждений самые важные?
Новая работа исследователей из Shanghai AI Lab Qian et al. (2025) приподнимает завесу тайны, обнаруживая информационные пики — критические моменты в процессе рассуждения, которые соответствуют особым “thinking tokens”. Мы можем посмотреть, что это за токены, и, более того, понимание этих механизмов имеет практический смысл: авторы предлагают новый простой, но эффективный метод, улучшающий качество рассуждений без дополнительного обучения.
#longreads #ai
🔥19❤8💘3
В курсе "Технологии и фронтиры науки о данных" в ЮФУ в прошлый четверг обсуждали линейную регрессию уже прямо по-настоящему, по-нашему, по-байесовски:
ЮФУ — 2025.11.20 — Байесовский вывод в линейной регрессии
(слайды, доска и код на странице курса)
Конечно, на первокурсников, не прошедших ещё курс теорвера, я не рискнул обрушить все формальные выводы, связанные со свёртками многомерных гауссианов; это лучше примерно курса с третьего начинать, как я обычно и делаю.
Но показал все самые главные картинки. Во-первых, поговорили про регуляризацию, про то, чем разные регуляризаторы отличаются друг от друга и какая там геометрическая идея. Затем обсудили, что регуляризатор — это априорное распределение, я показал, как это получается формально, благо здесь это совсем несложно.
Потом ещё раз рассказал и показал, что байесовский вывод — это умножение априорного распределения на правдоподобие, проиллюстрировал это всякими разными графиками в размерности два. И показал идею сэмплирования из предсказательного распределения: как предсказанные кривые разбегаются дальше друг от друга там, где данных нету, и остаются плотным пучком там, где данных много. Думаю, это лучшее, что можно показать на таком уровне.
#sfu #lectures #dsfrontiers
ЮФУ — 2025.11.20 — Байесовский вывод в линейной регрессии
(слайды, доска и код на странице курса)
Конечно, на первокурсников, не прошедших ещё курс теорвера, я не рискнул обрушить все формальные выводы, связанные со свёртками многомерных гауссианов; это лучше примерно курса с третьего начинать, как я обычно и делаю.
Но показал все самые главные картинки. Во-первых, поговорили про регуляризацию, про то, чем разные регуляризаторы отличаются друг от друга и какая там геометрическая идея. Затем обсудили, что регуляризатор — это априорное распределение, я показал, как это получается формально, благо здесь это совсем несложно.
Потом ещё раз рассказал и показал, что байесовский вывод — это умножение априорного распределения на правдоподобие, проиллюстрировал это всякими разными графиками в размерности два. И показал идею сэмплирования из предсказательного распределения: как предсказанные кривые разбегаются дальше друг от друга там, где данных нету, и остаются плотным пучком там, где данных много. Думаю, это лучшее, что можно показать на таком уровне.
#sfu #lectures #dsfrontiers
❤10👍2
Дискуссия, кажется, удалась, традиционное фото с семинара сегодня очень представительное.) Надеюсь, звук тоже записался, и я смогу всё это выложить.
#spsu #markovlab #events
#spsu #markovlab #events
🔥71❤🔥6😘1
В курсе "Основы байесовского вывода" сегодня поговорили о двух важных общих сюжетах:
СПбГУ — 2025.11.27 — Принцип максимума энтропии и априорные распределения Джеффриса
(слайды и доска на странице курса)
Принцип максимума энтропии показывает, какие распределения вероятностей являются "наиболее характерными". Сам принцип приходит из статистической физики, из работ Гиббса и того же Эдвина Джейнса, но и в машинном обучении тоже встречается. Так что в виде небольшого лирического отступления рассказал, откуда берётся максимизация энтропии, и привёл пару примеров.
А главный сегодняшний объект, априорные распределения Джеффриса, решает проблему, которая возникает из наивного вопроса: что происходит с априорными распределениями при репараметризации? Предположим, что мы хотим выразить незнание о параметре монетки, и выражаем его равномерным априорным распределением на [0, 1]. Но если мы перейдём от вероятности орла, скажем, к log-odds, что является даже более естественной параметризацией, равномерное распределение превратится в бог знает что... Сэр Рональд Фишер критиковал за это весь байесианизм в целом, а другой сэр Гарольд Джеффрис предложил потребовать инвариантность при репараметризации как свойство априорных распределений, и получились как раз в довольно глубоком смысле "распределения полного незнания".
#spsu #lectures #bayes2025
СПбГУ — 2025.11.27 — Принцип максимума энтропии и априорные распределения Джеффриса
(слайды и доска на странице курса)
Принцип максимума энтропии показывает, какие распределения вероятностей являются "наиболее характерными". Сам принцип приходит из статистической физики, из работ Гиббса и того же Эдвина Джейнса, но и в машинном обучении тоже встречается. Так что в виде небольшого лирического отступления рассказал, откуда берётся максимизация энтропии, и привёл пару примеров.
А главный сегодняшний объект, априорные распределения Джеффриса, решает проблему, которая возникает из наивного вопроса: что происходит с априорными распределениями при репараметризации? Предположим, что мы хотим выразить незнание о параметре монетки, и выражаем его равномерным априорным распределением на [0, 1]. Но если мы перейдём от вероятности орла, скажем, к log-odds, что является даже более естественной параметризацией, равномерное распределение превратится в бог знает что... Сэр Рональд Фишер критиковал за это весь байесианизм в целом, а другой сэр Гарольд Джеффрис предложил потребовать инвариантность при репараметризации как свойство априорных распределений, и получились как раз в довольно глубоком смысле "распределения полного незнания".
#spsu #lectures #bayes2025
❤6🔥1