В курсе "Основы байесовского вывода" сегодня были огненные примеры:
СПбГУ — 2025.11.13 — Немецкие танки и американские утки
(слайды, доска и код на странице курса)
Два небольших сюжета, оба про обучение равномерного распределения, что само по себе звучит довольно странно. И тем не менее!
Первый сюжет приходит из... военной истории. Во время второй мировой союзникам нужно было оценить, сколько танков производит Германия. И в дополнение к традиционным средствам разведки нашёлся неожиданный путь: оказалось, что на детали танков дотошные немецкие производители... наносят серийные номера! То есть если вы подбили и захватили немецкий танк, вы можете узнать, что это, условно говоря, "Пантера" номер 273. Что это говорит нам об общем числе танков?
Второй сюжет попроще, но тоже напрямую приходит из практики: как оценить, сколько в России или США водится диких уток? Обычно это делают кольцеванием: поймали какую-то выборку, пометили, потом поймали второй раз, увидели, какую поймали долю окольцованных, и составили простую пропорцию. Это называется методом Линкольна-Петерсена: Линкольн (не Авраам) считал американских уток, а Петерсен — датскую камбалу. Но и здесь не всё так просто...
Математически же оба сюжета позволили немножко вспомнить молодость, то бишь комбинаторику, и поговорить об improper priors. Следующая лекция будет уже не с такой яркой мотивацией, но пример там будет по сути ещё показательнее и интереснее.
#spsu #lectures #bayes2025
СПбГУ — 2025.11.13 — Немецкие танки и американские утки
(слайды, доска и код на странице курса)
Два небольших сюжета, оба про обучение равномерного распределения, что само по себе звучит довольно странно. И тем не менее!
Первый сюжет приходит из... военной истории. Во время второй мировой союзникам нужно было оценить, сколько танков производит Германия. И в дополнение к традиционным средствам разведки нашёлся неожиданный путь: оказалось, что на детали танков дотошные немецкие производители... наносят серийные номера! То есть если вы подбили и захватили немецкий танк, вы можете узнать, что это, условно говоря, "Пантера" номер 273. Что это говорит нам об общем числе танков?
Второй сюжет попроще, но тоже напрямую приходит из практики: как оценить, сколько в России или США водится диких уток? Обычно это делают кольцеванием: поймали какую-то выборку, пометили, потом поймали второй раз, увидели, какую поймали долю окольцованных, и составили простую пропорцию. Это называется методом Линкольна-Петерсена: Линкольн (не Авраам) считал американских уток, а Петерсен — датскую камбалу. Но и здесь не всё так просто...
Математически же оба сюжета позволили немножко вспомнить молодость, то бишь комбинаторику, и поговорить об improper priors. Следующая лекция будет уже не с такой яркой мотивацией, но пример там будет по сути ещё показательнее и интереснее.
#spsu #lectures #bayes2025
🔥21
Пора уже смириться: что бы я ни делал, получается очень много текста.) Вот и обзоры игр туда же; сегодняшние игры, конечно, не чета Blue Prince, но обзор всё равно вышел объёмным, так что полная версия будет по ссылке:
Road 96 и Road 96: Mile 0
Abstract. Сначала мне показалось, что это игра про СССР — красно-чёрные плакаты, пятиконечная звезда и Брежнев во главе. Однако оказалось, что про Трампа, его стену и Fox News... Хотя нелинейность скорее иллюзорна, а баги так и не исправили, Road 96 всё равно остаётся интересным документом эпохи.
Road 96 — игра французской инди-студии DigixArt, основанной в 2015 году Йоаном Фанизом (Yoan Fanise), создателем Valiant Hearts: The Great War [...] Кстати, именно он придумал знаменитое "Bwaaaah!" кроликов из Rabbids [...]
В первые минуты мне показалось, что это игра про Советский Союз. Дело происходит в стране под названием Петрия (корень очевиден), в которой правит автократический лидер по имени Tyrak (да-да, прямо от слова “тиран”, не скрываясь). Плакаты правящего лидера выполнены в красно-чёрной гамме, символ Петрии — пятиконечная звезда, а сам Tyrak несомненно срисован с Брежнева.
Но нет! Как только узнаёшь суть игры, всё становится на свои места. Вся атмосфера абсолютно американская, красный цвет противостоит синему, Тирак строит на границе стену, основная твоя задача — сбежать через эту стену куда-то на север, а один из возможных путей сопротивления состоит в том, чтобы... выиграть выборы, проголосовав за "синюю" сенатора Флорес [...]
Крутой факт: Facebook заблокировал рекламу Road 96, посчитав её слишком политически мотивированной [...]
По сути Road 96 — это сюжетная приключенческая игра от первого лица с элементами процедурной генерации [...] Вы играете не за одного персонажа, а за череду безликих подростков, пытающихся сбежать из страны. Некоторым удаётся перейти границу, другие погибают в пути, третьих арестовывают [...]
По пути вы путешествуете автостопом, на автобусах, такси и пешком, встречая на остановках ключевых персонажей с переплетающимися историями. С каждым из них связаны мини-игры (головоломки, QTE-сцены, диалоги) и развитие сюжета и лора игры [...]
Все сюжеты линейные, но они нелинейно перемешаны, и каждый путь нового подростка генерируется, видимо, процедурно. Персонажи очень классные, хоть и карикатурные: дальнобойщик Джон, который оказывается революционером, полицейская Фанни, разрывающаяся между долгом и совестью, юный хакер Алекс, ищущий родителей, сбежавшая дочь министра нефти Зои и так далее.
Атмосфера отличная — игра передаёт ощущение роуд-трипа 90-х с великолепным саундтреком из хитов того времени и оригинальной музыки [...]
Анимация персонажей местами неровная, а в игре явно были какие-то технические баги [...]
Road 96: Mile 0 — это приквел, который рассказывает историю Зои и её друга Кайто в White Sands, элитном посёлке, где живёт сам президент Tyrak со своим сыном Колтоном (Colton). Зои — дочь министра нефти, живущая в своём привилегированном пузыре, а Кайто — бедный парень из Colton City, который переехал с родителями в White Sands, чтобы работать прислугой [...]
Главное отличие Mile 0 от оригинала — музыкальные сегменты на скейте (Кайто) и роликах (Зои) [...] По геймплею Mile 0 в эти моменты превращается в игру вроде Sayonara Wild Hearts (как называется этот жанр?). Уровни очень красивые и разнообразные, но управление неотзывчивое, геймплей не меняется, в общем, мне скорее не понравилось [...]
В общем, если Road 96 вас заинтересовала, то и Mile 0 стоит попробовать; а если нет, то нет [...]
Road 96 — это попытка затронуть острые политические темы. На мой взгляд, с серьёзным разговором эти игры не справляются, упрощая сложные вопросы до бинарных решений. Но, с другой стороны, это же игра про подростков: как вы сами смотрели на мир, когда вам было поменьше двадцати?..
Не могу сказать, что это великолепные игры, но это интересный документ эпохи, напоминающий о добром старом доковидном мире. Даже и не знаю, для американской или для российской аудитории этот документ покажется более ностальгическим...
#tgif #games
Road 96 и Road 96: Mile 0
Abstract. Сначала мне показалось, что это игра про СССР — красно-чёрные плакаты, пятиконечная звезда и Брежнев во главе. Однако оказалось, что про Трампа, его стену и Fox News... Хотя нелинейность скорее иллюзорна, а баги так и не исправили, Road 96 всё равно остаётся интересным документом эпохи.
Road 96 — игра французской инди-студии DigixArt, основанной в 2015 году Йоаном Фанизом (Yoan Fanise), создателем Valiant Hearts: The Great War [...] Кстати, именно он придумал знаменитое "Bwaaaah!" кроликов из Rabbids [...]
В первые минуты мне показалось, что это игра про Советский Союз. Дело происходит в стране под названием Петрия (корень очевиден), в которой правит автократический лидер по имени Tyrak (да-да, прямо от слова “тиран”, не скрываясь). Плакаты правящего лидера выполнены в красно-чёрной гамме, символ Петрии — пятиконечная звезда, а сам Tyrak несомненно срисован с Брежнева.
Но нет! Как только узнаёшь суть игры, всё становится на свои места. Вся атмосфера абсолютно американская, красный цвет противостоит синему, Тирак строит на границе стену, основная твоя задача — сбежать через эту стену куда-то на север, а один из возможных путей сопротивления состоит в том, чтобы... выиграть выборы, проголосовав за "синюю" сенатора Флорес [...]
Крутой факт: Facebook заблокировал рекламу Road 96, посчитав её слишком политически мотивированной [...]
По сути Road 96 — это сюжетная приключенческая игра от первого лица с элементами процедурной генерации [...] Вы играете не за одного персонажа, а за череду безликих подростков, пытающихся сбежать из страны. Некоторым удаётся перейти границу, другие погибают в пути, третьих арестовывают [...]
По пути вы путешествуете автостопом, на автобусах, такси и пешком, встречая на остановках ключевых персонажей с переплетающимися историями. С каждым из них связаны мини-игры (головоломки, QTE-сцены, диалоги) и развитие сюжета и лора игры [...]
Все сюжеты линейные, но они нелинейно перемешаны, и каждый путь нового подростка генерируется, видимо, процедурно. Персонажи очень классные, хоть и карикатурные: дальнобойщик Джон, который оказывается революционером, полицейская Фанни, разрывающаяся между долгом и совестью, юный хакер Алекс, ищущий родителей, сбежавшая дочь министра нефти Зои и так далее.
Атмосфера отличная — игра передаёт ощущение роуд-трипа 90-х с великолепным саундтреком из хитов того времени и оригинальной музыки [...]
Анимация персонажей местами неровная, а в игре явно были какие-то технические баги [...]
Road 96: Mile 0 — это приквел, который рассказывает историю Зои и её друга Кайто в White Sands, элитном посёлке, где живёт сам президент Tyrak со своим сыном Колтоном (Colton). Зои — дочь министра нефти, живущая в своём привилегированном пузыре, а Кайто — бедный парень из Colton City, который переехал с родителями в White Sands, чтобы работать прислугой [...]
Главное отличие Mile 0 от оригинала — музыкальные сегменты на скейте (Кайто) и роликах (Зои) [...] По геймплею Mile 0 в эти моменты превращается в игру вроде Sayonara Wild Hearts (как называется этот жанр?). Уровни очень красивые и разнообразные, но управление неотзывчивое, геймплей не меняется, в общем, мне скорее не понравилось [...]
В общем, если Road 96 вас заинтересовала, то и Mile 0 стоит попробовать; а если нет, то нет [...]
Road 96 — это попытка затронуть острые политические темы. На мой взгляд, с серьёзным разговором эти игры не справляются, упрощая сложные вопросы до бинарных решений. Но, с другой стороны, это же игра про подростков: как вы сами смотрели на мир, когда вам было поменьше двадцати?..
Не могу сказать, что это великолепные игры, но это интересный документ эпохи, напоминающий о добром старом доковидном мире. Даже и не знаю, для американской или для российской аудитории этот документ покажется более ностальгическим...
#tgif #games
❤10👍3🌚1
В четверг в курсе "Глубокое обучение" мы перепрыгнули через VQ-VAE (ожидайте видео семинара) и пошли дальше:
СПбГУ — 2025.11.13 — DALL-E и нейросетевой информационный поиск
(слайды и доска на странице курса)
Первый DALL-E был основан на интересном варианте вариационного автокодировщика — дискретном VAE (discrete VAE, dVAE); в лекции я его ошибочно назвал distributional, и почему-то я уже не первый год делаю такую ошибку, надо бы уж запомнить. В отличие от VQ-VAE, там нет странных прокидываний градиентов, а есть честный reparametrization trick для бросков кубика, и это хороший повод поговорить про распределение Гумбеля, Gumbel-Max и Gumbel-Softmax trick. Сам же DALL-E просто добавляет трансформер, который пишет этот дискретный код.
А потом рассказал небольшой сюжет о нейросетевом информационном поиске. В information retrieval можно, конечно, куда угодно добавлять нейросети, и методы различаются скорее не архитектурами (хотя ими тоже, но это не так интересно), а функциями ошибки. О них и поговорили: о контрастивных (например, triplet loss) и о приходящих из классификации документов (вроде NCE). Без подробностей, а то бы это ещё две лекции заняло. А в конце в качестве примера вспомнил работу Алексея Шабанова (Лёша, привет!) про STIR (Siamese Transformer for Image Retrieval), которая для меня является отличным примером простой понятной идеи, которая прекрасно сработала (а после некоторой проявленной нами настойчивости ещё и на CIKM была принята).
#spsu #lectures #dl2025
СПбГУ — 2025.11.13 — DALL-E и нейросетевой информационный поиск
(слайды и доска на странице курса)
Первый DALL-E был основан на интересном варианте вариационного автокодировщика — дискретном VAE (discrete VAE, dVAE); в лекции я его ошибочно назвал distributional, и почему-то я уже не первый год делаю такую ошибку, надо бы уж запомнить. В отличие от VQ-VAE, там нет странных прокидываний градиентов, а есть честный reparametrization trick для бросков кубика, и это хороший повод поговорить про распределение Гумбеля, Gumbel-Max и Gumbel-Softmax trick. Сам же DALL-E просто добавляет трансформер, который пишет этот дискретный код.
А потом рассказал небольшой сюжет о нейросетевом информационном поиске. В information retrieval можно, конечно, куда угодно добавлять нейросети, и методы различаются скорее не архитектурами (хотя ими тоже, но это не так интересно), а функциями ошибки. О них и поговорили: о контрастивных (например, triplet loss) и о приходящих из классификации документов (вроде NCE). Без подробностей, а то бы это ещё две лекции заняло. А в конце в качестве примера вспомнил работу Алексея Шабанова (Лёша, привет!) про STIR (Siamese Transformer for Image Retrieval), которая для меня является отличным примером простой понятной идеи, которая прекрасно сработала (а после некоторой проявленной нами настойчивости ещё и на CIKM была принята).
#spsu #lectures #dl2025
❤7👍3🔥2
Появилось видео доклада про VQ-VAE с семинара лаборатории Маркова:
VQ-VAE и что из него получилось
(Слайды на странице семинара)
Как я уже говорил, Захар Варфоломеев отлично рассказал и про базовую конструкцию, и про то, куда она дальше развивалась. И это настолько удачно попало в последовательность курса "Глубокое обучение", что я буду считать этот доклад одной из лекций того курса; собственно, в прошлый раз мы уже перескочили VQ-VAE и пошли дальше.
Кстати, у Захара есть свой канал, подписывайтесь: https://t.me/vf_science
#spsu #seminar #markovlab
VQ-VAE и что из него получилось
(Слайды на странице семинара)
Как я уже говорил, Захар Варфоломеев отлично рассказал и про базовую конструкцию, и про то, куда она дальше развивалась. И это настолько удачно попало в последовательность курса "Глубокое обучение", что я буду считать этот доклад одной из лекций того курса; собственно, в прошлый раз мы уже перескочили VQ-VAE и пошли дальше.
Кстати, у Захара есть свой канал, подписывайтесь: https://t.me/vf_science
#spsu #seminar #markovlab
❤9👍2🔥2🥴2
В среду снова радикально меняем тему; на этот раз у нас практически классическое машинное обучение, да ещё и с байесовским уклоном. Уверен, что в исполнении Максима будет интересно.
BART
Ссылка на трансляцию (среда 19 ноября, 14:00)
Максим Николаев
(МКН СПбГУ)
BART, Bayesian Additive Regression Trees — это непараметрическая модель, которая наследует выразительность от ансамблей деревьев решений и описание неопределённости от байесовского подхода. Как это часто бывает, апостериорное распределение этой модели краткой аналитической формы не имеет, поэтому для работы с ней используются методы Монте-Карло на марковских цепях (MCMC).
Мы обсудим устройство модели, а также используемые методы MCMC. В оставшееся время обсудим направления для дальнейших исследований. Материал не требует специфической подготовки, но будет полезным понимание основных понятий теории цепей Маркова вплоть до стационарного распределения.
#spsu #seminar #markovlab
BART
Ссылка на трансляцию (среда 19 ноября, 14:00)
Максим Николаев
(МКН СПбГУ)
BART, Bayesian Additive Regression Trees — это непараметрическая модель, которая наследует выразительность от ансамблей деревьев решений и описание неопределённости от байесовского подхода. Как это часто бывает, апостериорное распределение этой модели краткой аналитической формы не имеет, поэтому для работы с ней используются методы Монте-Карло на марковских цепях (MCMC).
Мы обсудим устройство модели, а также используемые методы MCMC. В оставшееся время обсудим направления для дальнейших исследований. Материал не требует специфической подготовки, но будет полезным понимание основных понятий теории цепей Маркова вплоть до стационарного распределения.
#spsu #seminar #markovlab
🔥22❤2👍2
Вчера читал гостевую лекцию на "Студкемпе по математике AI", который организовывал в основном наш ФМКН. Мне предложили рассказать о диффузионных моделях, что на самом деле было довольно удивительным выбором, потому что это тема очень непростая математически и требующая большого предварительного погружения в материал. Но я был только рад, потому что это идеально укладывалось в последовательность моего курса "Глубокое обучение".
Так что рассказал таки о диффузии — не знаю уж, что осталось в головах слушателей, но постарался сделать введение про порождающие модели вообще и подвести к тому, где место диффузионок в этом зоопарке. По крайней мере, в курс эта лекция точно вошла как влитая, в четверг будем продолжать этот разговор.
Лекция была в ПОМИ, сначала долгое время были технические проблемы, в результате получилось поменьше полутора часов, но что поделать:
СПбГУ — 2025.11.17 — Введение в диффузионные модели
(слайды на странице курса)
Я выкладываю это видео сейчас, потому что в четверг уже нужно будет двигаться дальше в курсе "Глубокое обучение". Но думаю, что потом ещё получу записи видео с камер от организаторов, сделаю монтаж и выложу нормальное видео; сейчас там доска совсем не видна. Впрочем, для моих преданных слушателей это не страшно, на доске там нет почти ничего, что мы бы не обсуждали подробно в предыдущих лекциях курса.
#spsu #talks #lectures #dl2025
Так что рассказал таки о диффузии — не знаю уж, что осталось в головах слушателей, но постарался сделать введение про порождающие модели вообще и подвести к тому, где место диффузионок в этом зоопарке. По крайней мере, в курс эта лекция точно вошла как влитая, в четверг будем продолжать этот разговор.
Лекция была в ПОМИ, сначала долгое время были технические проблемы, в результате получилось поменьше полутора часов, но что поделать:
СПбГУ — 2025.11.17 — Введение в диффузионные модели
(слайды на странице курса)
Я выкладываю это видео сейчас, потому что в четверг уже нужно будет двигаться дальше в курсе "Глубокое обучение". Но думаю, что потом ещё получу записи видео с камер от организаторов, сделаю монтаж и выложу нормальное видео; сейчас там доска совсем не видна. Впрочем, для моих преданных слушателей это не страшно, на доске там нет почти ничего, что мы бы не обсуждали подробно в предыдущих лекциях курса.
#spsu #talks #lectures #dl2025
❤10🔥3👏3
В курсе "Технологии и фронтиры науки о данных" в ЮФУ дошли до более интересной части. В прошлый четверг медленно и подробно обсуждали линейную регрессию:
ЮФУ — 2025.11.13 — Линейная регрессия
(слайды, доска и код на странице курса)
Линейная регрессия хороша тем, что это первый пример, на котором уже абсолютно всё про байесовский вывод видно, но при этом всё ещё всё достаточно наглядно, чтобы и формулы вывести (этим мы, правда, в этом курсе вряд ли будем заниматься), и картинки нарисовать.
Но если действительно говорить подробно и с нуля обо всём, что составляет линейную регрессию как модель машинного обучения, то получается довольно долго.) В этот раз за два с половиной часа я успел взять градиент от квадратичной формы, получить метод наименьших квадратов, обсудить его вероятностные предположения и функцию правдоподобия с гауссовским шумом, а потом рассказать о полиномиальных и локальных признаках, которые сильно расширяют возможности линейной регрессии.
Впрочем, я искренне считаю, что лучше медленно и понятно, чем быстро и непонятно. Надеюсь, что я со своими лекциями всё-таки именно в этом квадранте, а не в самом плохом.)
#sfu #lectures #dsfrontiers
ЮФУ — 2025.11.13 — Линейная регрессия
(слайды, доска и код на странице курса)
Линейная регрессия хороша тем, что это первый пример, на котором уже абсолютно всё про байесовский вывод видно, но при этом всё ещё всё достаточно наглядно, чтобы и формулы вывести (этим мы, правда, в этом курсе вряд ли будем заниматься), и картинки нарисовать.
Но если действительно говорить подробно и с нуля обо всём, что составляет линейную регрессию как модель машинного обучения, то получается довольно долго.) В этот раз за два с половиной часа я успел взять градиент от квадратичной формы, получить метод наименьших квадратов, обсудить его вероятностные предположения и функцию правдоподобия с гауссовским шумом, а потом рассказать о полиномиальных и локальных признаках, которые сильно расширяют возможности линейной регрессии.
Впрочем, я искренне считаю, что лучше медленно и понятно, чем быстро и непонятно. Надеюсь, что я со своими лекциями всё-таки именно в этом квадранте, а не в самом плохом.)
#sfu #lectures #dsfrontiers
❤17🔥5
На этой неделе я что-то подразболелся. С горлом, тьфу-тьфу, всё не так плохо, так что лекции не отменяю, но на семинар не пошёл, и традиционное фото сегодня без меня.
А доклад, как и ожидалось, был крутой, понятный и концептуально богатый; вошёл бы как влитой во второй семестр моего курса, но что уж там. Надеюсь, Максим ещё не раз выступит у нас на семинаре.
#spsu #seminar #markovlab
А доклад, как и ожидалось, был крутой, понятный и концептуально богатый; вошёл бы как влитой во второй семестр моего курса, но что уж там. Надеюсь, Максим ещё не раз выступит у нас на семинаре.
#spsu #seminar #markovlab
❤18
Сегодня у меня для вас вместо анонса обычного доклада в лаборатории Маркова анонс мероприятия посерьёзнее: в следующую среду, 26 ноября, в СПбГУ состоится большой семинар с участием коллег из AIRI (Институт AI Сбера).
Начало в 12:00, в главном здании СПбГУ. Расписание и подробности на страничке мероприятия:
Совместный семинар СПбГУ и AIRI по искусственному интеллекту, математике и компьютерным наукам
Будет несколько относительно коротких докладов от ведущих специалистов AIRI про их науку, а потом большая дискуссия С.К. Смирнова и И.В. Оселедца про математику и искусственный интеллект. Вести дискуссию будет ваш покорный слуга, но думаю, что сам буду скорее внимать и переспрашивать.) Записей и трансляций, насколько я понял, не планируется.
Для прохода на территорию СПбГУ нужно попасть в список, а для этого нужно зарегистрироваться. Ссылка на регистрацию есть на страничке выше, но вот и прямая ссылка тоже.
Приходите!
#spsu #markovlab #talks #events
Начало в 12:00, в главном здании СПбГУ. Расписание и подробности на страничке мероприятия:
Совместный семинар СПбГУ и AIRI по искусственному интеллекту, математике и компьютерным наукам
Будет несколько относительно коротких докладов от ведущих специалистов AIRI про их науку, а потом большая дискуссия С.К. Смирнова и И.В. Оселедца про математику и искусственный интеллект. Вести дискуссию будет ваш покорный слуга, но думаю, что сам буду скорее внимать и переспрашивать.) Записей и трансляций, насколько я понял, не планируется.
Для прохода на территорию СПбГУ нужно попасть в список, а для этого нужно зарегистрироваться. Ссылка на регистрацию есть на страничке выше, но вот и прямая ссылка тоже.
Приходите!
#spsu #markovlab #talks #events
🔥19❤3👏2👍1😱1
В целом про семейство моделей от ЛеКуна все русскоязычные исследователи уже много лет назад отшутились. Но тут на днях вышла ещё одна с настолько потрясающим названием, что я не выдержал и впервые в жизни сделал мем-картинку своими руками.)
https://arxiv.org/abs/2511.08544
Кстати, говорят, что ЛеКун уходит от своего работодателя. Вряд ли это так уж много значит для вечности, конечно, но желаю всяческого успеха и надеюсь, что теперь у него будет возможность ещё интереснее двигать науку.
#news #misc #ai
https://arxiv.org/abs/2511.08544
Кстати, говорят, что ЛеКун уходит от своего работодателя. Вряд ли это так уж много значит для вечности, конечно, но желаю всяческого успеха и надеюсь, что теперь у него будет возможность ещё интереснее двигать науку.
#news #misc #ai
😁28❤6