Серия про Mamba закончилась, и в ближайшую среду будет (надеюсь!) интересный доклад по совсем другой теме. Он идеально попадает в тему курса "Глубокое обучение" — настолько удачно совпало, что я даже решил не рассказывать сам про VQ-VAE, а сослаться на доклад Захара. Присоединяйтесь в среду и вы!
VQ-VAE: когда нужны дискретные представления и как их готовить
Захар Варфоломеев (Songsterr, ex. Yandex Music)
Ссылка на трансляцию (среда 12 ноября, 14:00)
VQ-VAE — популярная нейросетевая архитектура, которая активно применяется в моделях, работающих с аудио, изображениями, видео, в мультимодальных моделях, а также в 3D-моделировании, трекинге движений и естественных науках (биологии, химии). На основе VQ-VAE создаются модели для сжатия и восстановления данных, которые сейчас используются во многих стриминговых платформах. Также VQ-VAE применяется для задач порождения или извлечения информации; например, на нём работает моё любимое audio2midi, которое я делаю, или panoptic segmentation.
В общем, идея полезная, но у VQ-VAE есть конкретные сценарии применения и проблемы, о которых речь пойдёт далее:
— он вычисляет N центроидов кластеров по картам признаков, полученным из кодировщика; кластеризация приводит к потере информации;
— инициализация центроидов кластеров значительно влияет на метрики для любой задачи; всем известный k-means даёт здесь полезную последовательность идей;
— через операцию VQ не протекают градиенты, поэтому мы вынуждены использовать аппроксимации, чаще всего STE;
— поскольку градиент останавливается после VQ, он не доходит до словаря и кодировщика; нужны вспомогательные функции потерь. Одна из них будет приближать выходы кодировщика к элементам словаря, вторая — приближать элементы словаря к выходам кодировщика; а это приводит к сложностям в оптимизации.
Поэтому для некоторых моделей в CV используют просто патчи, как в ViT. Это тоже интересный момент, и мы ещё вернемся к нему, а пока идём дальше.
— Часто вспомогательные лоссы считают L2-расстояние между конкретными семплами, и возникает коллапс словаря, когда модель использует только небольшую часть токенов, игнорируя остальные. Это снижает эффективность модели и происходит потому, что мы приближаем друг к другу лишь конкретные семплы, и ближе всех к выходам кодировщика будут последние, а большинство предыдущих окажутся дальше последних и никогда не будут выбраны. Поэтому создавать большие словари (10К+) не имеет смысла.
— При обучении с нуля подбор числа элементов словаря и их размерности — это трудоёмкий процесс: каждый раз нужно инициализировать словарь заново и проверять разные центроиды кластеров.
— Можно пробовать уменьшать число токенов, нужных для качественного восстановления данных из латентного пространства. Многие задачи требуют сжатия данных с низким битрейтом, однако VQ-VAE не всегда эффективно работает в таких условиях, особенно если требуется высокая точность восстановления.
— Часто для задач порождения или извлечения информации используют предобученные кодеки, и никто не хочет их менять под данные, модель и задачу, т.к. это может испортить кодек и потребует долгого подбора параметров. Но страдать придётся в любом случае: нужно подбирать и оптимизировать декодер на основе токенов из выбранного кодека.
— Регионы, по которым вычисляются латентные представления, имеют разную информационную плотность; в частности, мы хотим разделять регионы по смыслу, например токенизировать фон на изображении отдельно от основных объектов.
Это лишь основные проблемы, а далее мы обсудим пути их решения и посмотрим на актуальные применения VQ-представлений, затронув множество популярных доменов.
#markovlab #seminar #spsu
VQ-VAE: когда нужны дискретные представления и как их готовить
Захар Варфоломеев (Songsterr, ex. Yandex Music)
Ссылка на трансляцию (среда 12 ноября, 14:00)
VQ-VAE — популярная нейросетевая архитектура, которая активно применяется в моделях, работающих с аудио, изображениями, видео, в мультимодальных моделях, а также в 3D-моделировании, трекинге движений и естественных науках (биологии, химии). На основе VQ-VAE создаются модели для сжатия и восстановления данных, которые сейчас используются во многих стриминговых платформах. Также VQ-VAE применяется для задач порождения или извлечения информации; например, на нём работает моё любимое audio2midi, которое я делаю, или panoptic segmentation.
В общем, идея полезная, но у VQ-VAE есть конкретные сценарии применения и проблемы, о которых речь пойдёт далее:
— он вычисляет N центроидов кластеров по картам признаков, полученным из кодировщика; кластеризация приводит к потере информации;
— инициализация центроидов кластеров значительно влияет на метрики для любой задачи; всем известный k-means даёт здесь полезную последовательность идей;
— через операцию VQ не протекают градиенты, поэтому мы вынуждены использовать аппроксимации, чаще всего STE;
— поскольку градиент останавливается после VQ, он не доходит до словаря и кодировщика; нужны вспомогательные функции потерь. Одна из них будет приближать выходы кодировщика к элементам словаря, вторая — приближать элементы словаря к выходам кодировщика; а это приводит к сложностям в оптимизации.
Поэтому для некоторых моделей в CV используют просто патчи, как в ViT. Это тоже интересный момент, и мы ещё вернемся к нему, а пока идём дальше.
— Часто вспомогательные лоссы считают L2-расстояние между конкретными семплами, и возникает коллапс словаря, когда модель использует только небольшую часть токенов, игнорируя остальные. Это снижает эффективность модели и происходит потому, что мы приближаем друг к другу лишь конкретные семплы, и ближе всех к выходам кодировщика будут последние, а большинство предыдущих окажутся дальше последних и никогда не будут выбраны. Поэтому создавать большие словари (10К+) не имеет смысла.
— При обучении с нуля подбор числа элементов словаря и их размерности — это трудоёмкий процесс: каждый раз нужно инициализировать словарь заново и проверять разные центроиды кластеров.
— Можно пробовать уменьшать число токенов, нужных для качественного восстановления данных из латентного пространства. Многие задачи требуют сжатия данных с низким битрейтом, однако VQ-VAE не всегда эффективно работает в таких условиях, особенно если требуется высокая точность восстановления.
— Часто для задач порождения или извлечения информации используют предобученные кодеки, и никто не хочет их менять под данные, модель и задачу, т.к. это может испортить кодек и потребует долгого подбора параметров. Но страдать придётся в любом случае: нужно подбирать и оптимизировать декодер на основе токенов из выбранного кодека.
— Регионы, по которым вычисляются латентные представления, имеют разную информационную плотность; в частности, мы хотим разделять регионы по смыслу, например токенизировать фон на изображении отдельно от основных объектов.
Это лишь основные проблемы, а далее мы обсудим пути их решения и посмотрим на актуальные применения VQ-представлений, затронув множество популярных доменов.
#markovlab #seminar #spsu
🔥20❤7🤮4👍2⚡1
Собственно, доклад в среду станет естественным продолжением темы, которую мы начали в четверг в курсе "Глубокое обучение":
СПбГУ — 2025.11.06 — Вариационные автокодировщики
(слайды и доска на странице курса)
Вариационный автокодировщик (variational autoencoder, VAE) — одна из главных идей современного глубокого обучения. Я вот недавно перевыкладывал и вспоминал свои посты об этом в блоге Synthesis AI, и в лекции тоже примерно этот материал мы и обсудили: откуда берётся идея VAE, где там возникает приближённый вывод, как устроено в данном случае вариационное приближение...
Красота происходящего в том, что из вариационной оценки естественным образом получаются функции ошибки: и ошибка реконструкции (она, разумеется, получается из предположения на шум декодера, туда можно подставлять что угодно), и регуляризатор на распределение латентных кодов (а это уже интереснее). Дальше в среду послушаем о том, как латентное пространство может стать дискретным, а потом в четверг сделаем непрерывный кодировщик для дискретного пространства... да, странно звучит, но, надеюсь, разберёмся!
#spsu #lectures #dl2025
СПбГУ — 2025.11.06 — Вариационные автокодировщики
(слайды и доска на странице курса)
Вариационный автокодировщик (variational autoencoder, VAE) — одна из главных идей современного глубокого обучения. Я вот недавно перевыкладывал и вспоминал свои посты об этом в блоге Synthesis AI, и в лекции тоже примерно этот материал мы и обсудили: откуда берётся идея VAE, где там возникает приближённый вывод, как устроено в данном случае вариационное приближение...
Красота происходящего в том, что из вариационной оценки естественным образом получаются функции ошибки: и ошибка реконструкции (она, разумеется, получается из предположения на шум декодера, туда можно подставлять что угодно), и регуляризатор на распределение латентных кодов (а это уже интереснее). Дальше в среду послушаем о том, как латентное пространство может стать дискретным, а потом в четверг сделаем непрерывный кодировщик для дискретного пространства... да, странно звучит, но, надеюсь, разберёмся!
#spsu #lectures #dl2025
❤8❤🔥1
Выложил видео последнего доклада из серии про Mamba:
Последние новости: Gated Delta Networks и Mamba-3
(Слайды на странице семинара)
Мы дошли до самых последних работ в этом направлении: статью про Mamba 3 пока ещё только-только подали на ICLR 2026, она лежит только на openreview в анонимном виде. На этом разговоры про SSM заканчиваются, и завтра доклад будет уже на совершенно другую тему.
А ещё я забыл выложить традиционную фотографию, вот исправляюсь.
#markovlab #seminar #spsu
Последние новости: Gated Delta Networks и Mamba-3
(Слайды на странице семинара)
Мы дошли до самых последних работ в этом направлении: статью про Mamba 3 пока ещё только-только подали на ICLR 2026, она лежит только на openreview в анонимном виде. На этом разговоры про SSM заканчиваются, и завтра доклад будет уже на совершенно другую тему.
А ещё я забыл выложить традиционную фотографию, вот исправляюсь.
#markovlab #seminar #spsu
🔥14❤2💩1
А в курсе "Технологии и фронтиры науки о данных" в ЮФУ мы уже вовсю говорим о вероятностных основах ML!
Я очень стараюсь двигаться медленно и максимально понятно, и на этот раз мы два часа обсуждали первый пример:
ЮФУ — 2025.11.06 — Байесовский вывод для монетки
(слайды, доска и код на странице курса)
Сначала напомнил о том, какие вообще задачи машинное обучение решает с вероятностной точки зрения, а потом начали разбирать пример. Прямо полностью, детально, начиная с правдоподобия испытаний Бернулли (это тоже оказалось не вполне интуитивно), и до самого предсказательного распределения.
Про априорные распределения тоже поговорили, объяснил как смог про бета-распределение как сопряжённое для монетки и даже успел сказать пару слов о том, зачем могут быть нужны дробные гиперпараметры у априорного распределения.
В этот раз (наконец-то) большая часть разговора происходила на доске, и примеры в коде я тоже показывал.
Коллеги говорят, что вроде всё было в целом понятно, но сложненько. Завтра попробую поговорить про линейную регрессию... надеюсь, зайдёт.)
#sfu #lectures #dsfrontiers
Я очень стараюсь двигаться медленно и максимально понятно, и на этот раз мы два часа обсуждали первый пример:
ЮФУ — 2025.11.06 — Байесовский вывод для монетки
(слайды, доска и код на странице курса)
Сначала напомнил о том, какие вообще задачи машинное обучение решает с вероятностной точки зрения, а потом начали разбирать пример. Прямо полностью, детально, начиная с правдоподобия испытаний Бернулли (это тоже оказалось не вполне интуитивно), и до самого предсказательного распределения.
Про априорные распределения тоже поговорили, объяснил как смог про бета-распределение как сопряжённое для монетки и даже успел сказать пару слов о том, зачем могут быть нужны дробные гиперпараметры у априорного распределения.
В этот раз (наконец-то) большая часть разговора происходила на доске, и примеры в коде я тоже показывал.
Коллеги говорят, что вроде всё было в целом понятно, но сложненько. Завтра попробую поговорить про линейную регрессию... надеюсь, зайдёт.)
#sfu #lectures #dsfrontiers
❤16👍2💩1
Доклад вчера, кстати, безусловно удался. Большое спасибо Захару, он отлично подготовился, и этот семинар уже точно будет частью курса DL в этом году.)
Спасибо всем, кто пришёл, ну а дальше будет опять something completely different...
#markovlab #seminar #spsu
Спасибо всем, кто пришёл, ну а дальше будет опять something completely different...
#markovlab #seminar #spsu
❤35👍4🥴3
В курсе "Основы байесовского вывода" сегодня были огненные примеры:
СПбГУ — 2025.11.13 — Немецкие танки и американские утки
(слайды, доска и код на странице курса)
Два небольших сюжета, оба про обучение равномерного распределения, что само по себе звучит довольно странно. И тем не менее!
Первый сюжет приходит из... военной истории. Во время второй мировой союзникам нужно было оценить, сколько танков производит Германия. И в дополнение к традиционным средствам разведки нашёлся неожиданный путь: оказалось, что на детали танков дотошные немецкие производители... наносят серийные номера! То есть если вы подбили и захватили немецкий танк, вы можете узнать, что это, условно говоря, "Пантера" номер 273. Что это говорит нам об общем числе танков?
Второй сюжет попроще, но тоже напрямую приходит из практики: как оценить, сколько в России или США водится диких уток? Обычно это делают кольцеванием: поймали какую-то выборку, пометили, потом поймали второй раз, увидели, какую поймали долю окольцованных, и составили простую пропорцию. Это называется методом Линкольна-Петерсена: Линкольн (не Авраам) считал американских уток, а Петерсен — датскую камбалу. Но и здесь не всё так просто...
Математически же оба сюжета позволили немножко вспомнить молодость, то бишь комбинаторику, и поговорить об improper priors. Следующая лекция будет уже не с такой яркой мотивацией, но пример там будет по сути ещё показательнее и интереснее.
#spsu #lectures #bayes2025
СПбГУ — 2025.11.13 — Немецкие танки и американские утки
(слайды, доска и код на странице курса)
Два небольших сюжета, оба про обучение равномерного распределения, что само по себе звучит довольно странно. И тем не менее!
Первый сюжет приходит из... военной истории. Во время второй мировой союзникам нужно было оценить, сколько танков производит Германия. И в дополнение к традиционным средствам разведки нашёлся неожиданный путь: оказалось, что на детали танков дотошные немецкие производители... наносят серийные номера! То есть если вы подбили и захватили немецкий танк, вы можете узнать, что это, условно говоря, "Пантера" номер 273. Что это говорит нам об общем числе танков?
Второй сюжет попроще, но тоже напрямую приходит из практики: как оценить, сколько в России или США водится диких уток? Обычно это делают кольцеванием: поймали какую-то выборку, пометили, потом поймали второй раз, увидели, какую поймали долю окольцованных, и составили простую пропорцию. Это называется методом Линкольна-Петерсена: Линкольн (не Авраам) считал американских уток, а Петерсен — датскую камбалу. Но и здесь не всё так просто...
Математически же оба сюжета позволили немножко вспомнить молодость, то бишь комбинаторику, и поговорить об improper priors. Следующая лекция будет уже не с такой яркой мотивацией, но пример там будет по сути ещё показательнее и интереснее.
#spsu #lectures #bayes2025
🔥21
Пора уже смириться: что бы я ни делал, получается очень много текста.) Вот и обзоры игр туда же; сегодняшние игры, конечно, не чета Blue Prince, но обзор всё равно вышел объёмным, так что полная версия будет по ссылке:
Road 96 и Road 96: Mile 0
Abstract. Сначала мне показалось, что это игра про СССР — красно-чёрные плакаты, пятиконечная звезда и Брежнев во главе. Однако оказалось, что про Трампа, его стену и Fox News... Хотя нелинейность скорее иллюзорна, а баги так и не исправили, Road 96 всё равно остаётся интересным документом эпохи.
Road 96 — игра французской инди-студии DigixArt, основанной в 2015 году Йоаном Фанизом (Yoan Fanise), создателем Valiant Hearts: The Great War [...] Кстати, именно он придумал знаменитое "Bwaaaah!" кроликов из Rabbids [...]
В первые минуты мне показалось, что это игра про Советский Союз. Дело происходит в стране под названием Петрия (корень очевиден), в которой правит автократический лидер по имени Tyrak (да-да, прямо от слова “тиран”, не скрываясь). Плакаты правящего лидера выполнены в красно-чёрной гамме, символ Петрии — пятиконечная звезда, а сам Tyrak несомненно срисован с Брежнева.
Но нет! Как только узнаёшь суть игры, всё становится на свои места. Вся атмосфера абсолютно американская, красный цвет противостоит синему, Тирак строит на границе стену, основная твоя задача — сбежать через эту стену куда-то на север, а один из возможных путей сопротивления состоит в том, чтобы... выиграть выборы, проголосовав за "синюю" сенатора Флорес [...]
Крутой факт: Facebook заблокировал рекламу Road 96, посчитав её слишком политически мотивированной [...]
По сути Road 96 — это сюжетная приключенческая игра от первого лица с элементами процедурной генерации [...] Вы играете не за одного персонажа, а за череду безликих подростков, пытающихся сбежать из страны. Некоторым удаётся перейти границу, другие погибают в пути, третьих арестовывают [...]
По пути вы путешествуете автостопом, на автобусах, такси и пешком, встречая на остановках ключевых персонажей с переплетающимися историями. С каждым из них связаны мини-игры (головоломки, QTE-сцены, диалоги) и развитие сюжета и лора игры [...]
Все сюжеты линейные, но они нелинейно перемешаны, и каждый путь нового подростка генерируется, видимо, процедурно. Персонажи очень классные, хоть и карикатурные: дальнобойщик Джон, который оказывается революционером, полицейская Фанни, разрывающаяся между долгом и совестью, юный хакер Алекс, ищущий родителей, сбежавшая дочь министра нефти Зои и так далее.
Атмосфера отличная — игра передаёт ощущение роуд-трипа 90-х с великолепным саундтреком из хитов того времени и оригинальной музыки [...]
Анимация персонажей местами неровная, а в игре явно были какие-то технические баги [...]
Road 96: Mile 0 — это приквел, который рассказывает историю Зои и её друга Кайто в White Sands, элитном посёлке, где живёт сам президент Tyrak со своим сыном Колтоном (Colton). Зои — дочь министра нефти, живущая в своём привилегированном пузыре, а Кайто — бедный парень из Colton City, который переехал с родителями в White Sands, чтобы работать прислугой [...]
Главное отличие Mile 0 от оригинала — музыкальные сегменты на скейте (Кайто) и роликах (Зои) [...] По геймплею Mile 0 в эти моменты превращается в игру вроде Sayonara Wild Hearts (как называется этот жанр?). Уровни очень красивые и разнообразные, но управление неотзывчивое, геймплей не меняется, в общем, мне скорее не понравилось [...]
В общем, если Road 96 вас заинтересовала, то и Mile 0 стоит попробовать; а если нет, то нет [...]
Road 96 — это попытка затронуть острые политические темы. На мой взгляд, с серьёзным разговором эти игры не справляются, упрощая сложные вопросы до бинарных решений. Но, с другой стороны, это же игра про подростков: как вы сами смотрели на мир, когда вам было поменьше двадцати?..
Не могу сказать, что это великолепные игры, но это интересный документ эпохи, напоминающий о добром старом доковидном мире. Даже и не знаю, для американской или для российской аудитории этот документ покажется более ностальгическим...
#tgif #games
Road 96 и Road 96: Mile 0
Abstract. Сначала мне показалось, что это игра про СССР — красно-чёрные плакаты, пятиконечная звезда и Брежнев во главе. Однако оказалось, что про Трампа, его стену и Fox News... Хотя нелинейность скорее иллюзорна, а баги так и не исправили, Road 96 всё равно остаётся интересным документом эпохи.
Road 96 — игра французской инди-студии DigixArt, основанной в 2015 году Йоаном Фанизом (Yoan Fanise), создателем Valiant Hearts: The Great War [...] Кстати, именно он придумал знаменитое "Bwaaaah!" кроликов из Rabbids [...]
В первые минуты мне показалось, что это игра про Советский Союз. Дело происходит в стране под названием Петрия (корень очевиден), в которой правит автократический лидер по имени Tyrak (да-да, прямо от слова “тиран”, не скрываясь). Плакаты правящего лидера выполнены в красно-чёрной гамме, символ Петрии — пятиконечная звезда, а сам Tyrak несомненно срисован с Брежнева.
Но нет! Как только узнаёшь суть игры, всё становится на свои места. Вся атмосфера абсолютно американская, красный цвет противостоит синему, Тирак строит на границе стену, основная твоя задача — сбежать через эту стену куда-то на север, а один из возможных путей сопротивления состоит в том, чтобы... выиграть выборы, проголосовав за "синюю" сенатора Флорес [...]
Крутой факт: Facebook заблокировал рекламу Road 96, посчитав её слишком политически мотивированной [...]
По сути Road 96 — это сюжетная приключенческая игра от первого лица с элементами процедурной генерации [...] Вы играете не за одного персонажа, а за череду безликих подростков, пытающихся сбежать из страны. Некоторым удаётся перейти границу, другие погибают в пути, третьих арестовывают [...]
По пути вы путешествуете автостопом, на автобусах, такси и пешком, встречая на остановках ключевых персонажей с переплетающимися историями. С каждым из них связаны мини-игры (головоломки, QTE-сцены, диалоги) и развитие сюжета и лора игры [...]
Все сюжеты линейные, но они нелинейно перемешаны, и каждый путь нового подростка генерируется, видимо, процедурно. Персонажи очень классные, хоть и карикатурные: дальнобойщик Джон, который оказывается революционером, полицейская Фанни, разрывающаяся между долгом и совестью, юный хакер Алекс, ищущий родителей, сбежавшая дочь министра нефти Зои и так далее.
Атмосфера отличная — игра передаёт ощущение роуд-трипа 90-х с великолепным саундтреком из хитов того времени и оригинальной музыки [...]
Анимация персонажей местами неровная, а в игре явно были какие-то технические баги [...]
Road 96: Mile 0 — это приквел, который рассказывает историю Зои и её друга Кайто в White Sands, элитном посёлке, где живёт сам президент Tyrak со своим сыном Колтоном (Colton). Зои — дочь министра нефти, живущая в своём привилегированном пузыре, а Кайто — бедный парень из Colton City, который переехал с родителями в White Sands, чтобы работать прислугой [...]
Главное отличие Mile 0 от оригинала — музыкальные сегменты на скейте (Кайто) и роликах (Зои) [...] По геймплею Mile 0 в эти моменты превращается в игру вроде Sayonara Wild Hearts (как называется этот жанр?). Уровни очень красивые и разнообразные, но управление неотзывчивое, геймплей не меняется, в общем, мне скорее не понравилось [...]
В общем, если Road 96 вас заинтересовала, то и Mile 0 стоит попробовать; а если нет, то нет [...]
Road 96 — это попытка затронуть острые политические темы. На мой взгляд, с серьёзным разговором эти игры не справляются, упрощая сложные вопросы до бинарных решений. Но, с другой стороны, это же игра про подростков: как вы сами смотрели на мир, когда вам было поменьше двадцати?..
Не могу сказать, что это великолепные игры, но это интересный документ эпохи, напоминающий о добром старом доковидном мире. Даже и не знаю, для американской или для российской аудитории этот документ покажется более ностальгическим...
#tgif #games
❤10👍3🌚1
В четверг в курсе "Глубокое обучение" мы перепрыгнули через VQ-VAE (ожидайте видео семинара) и пошли дальше:
СПбГУ — 2025.11.13 — DALL-E и нейросетевой информационный поиск
(слайды и доска на странице курса)
Первый DALL-E был основан на интересном варианте вариационного автокодировщика — дискретном VAE (discrete VAE, dVAE); в лекции я его ошибочно назвал distributional, и почему-то я уже не первый год делаю такую ошибку, надо бы уж запомнить. В отличие от VQ-VAE, там нет странных прокидываний градиентов, а есть честный reparametrization trick для бросков кубика, и это хороший повод поговорить про распределение Гумбеля, Gumbel-Max и Gumbel-Softmax trick. Сам же DALL-E просто добавляет трансформер, который пишет этот дискретный код.
А потом рассказал небольшой сюжет о нейросетевом информационном поиске. В information retrieval можно, конечно, куда угодно добавлять нейросети, и методы различаются скорее не архитектурами (хотя ими тоже, но это не так интересно), а функциями ошибки. О них и поговорили: о контрастивных (например, triplet loss) и о приходящих из классификации документов (вроде NCE). Без подробностей, а то бы это ещё две лекции заняло. А в конце в качестве примера вспомнил работу Алексея Шабанова (Лёша, привет!) про STIR (Siamese Transformer for Image Retrieval), которая для меня является отличным примером простой понятной идеи, которая прекрасно сработала (а после некоторой проявленной нами настойчивости ещё и на CIKM была принята).
#spsu #lectures #dl2025
СПбГУ — 2025.11.13 — DALL-E и нейросетевой информационный поиск
(слайды и доска на странице курса)
Первый DALL-E был основан на интересном варианте вариационного автокодировщика — дискретном VAE (discrete VAE, dVAE); в лекции я его ошибочно назвал distributional, и почему-то я уже не первый год делаю такую ошибку, надо бы уж запомнить. В отличие от VQ-VAE, там нет странных прокидываний градиентов, а есть честный reparametrization trick для бросков кубика, и это хороший повод поговорить про распределение Гумбеля, Gumbel-Max и Gumbel-Softmax trick. Сам же DALL-E просто добавляет трансформер, который пишет этот дискретный код.
А потом рассказал небольшой сюжет о нейросетевом информационном поиске. В information retrieval можно, конечно, куда угодно добавлять нейросети, и методы различаются скорее не архитектурами (хотя ими тоже, но это не так интересно), а функциями ошибки. О них и поговорили: о контрастивных (например, triplet loss) и о приходящих из классификации документов (вроде NCE). Без подробностей, а то бы это ещё две лекции заняло. А в конце в качестве примера вспомнил работу Алексея Шабанова (Лёша, привет!) про STIR (Siamese Transformer for Image Retrieval), которая для меня является отличным примером простой понятной идеи, которая прекрасно сработала (а после некоторой проявленной нами настойчивости ещё и на CIKM была принята).
#spsu #lectures #dl2025
❤7👍3🔥2
Появилось видео доклада про VQ-VAE с семинара лаборатории Маркова:
VQ-VAE и что из него получилось
(Слайды на странице семинара)
Как я уже говорил, Захар Варфоломеев отлично рассказал и про базовую конструкцию, и про то, куда она дальше развивалась. И это настолько удачно попало в последовательность курса "Глубокое обучение", что я буду считать этот доклад одной из лекций того курса; собственно, в прошлый раз мы уже перескочили VQ-VAE и пошли дальше.
Кстати, у Захара есть свой канал, подписывайтесь: https://t.me/vf_science
#spsu #seminar #markovlab
VQ-VAE и что из него получилось
(Слайды на странице семинара)
Как я уже говорил, Захар Варфоломеев отлично рассказал и про базовую конструкцию, и про то, куда она дальше развивалась. И это настолько удачно попало в последовательность курса "Глубокое обучение", что я буду считать этот доклад одной из лекций того курса; собственно, в прошлый раз мы уже перескочили VQ-VAE и пошли дальше.
Кстати, у Захара есть свой канал, подписывайтесь: https://t.me/vf_science
#spsu #seminar #markovlab
❤9👍2🔥2🥴2
В среду снова радикально меняем тему; на этот раз у нас практически классическое машинное обучение, да ещё и с байесовским уклоном. Уверен, что в исполнении Максима будет интересно.
BART
Ссылка на трансляцию (среда 19 ноября, 14:00)
Максим Николаев
(МКН СПбГУ)
BART, Bayesian Additive Regression Trees — это непараметрическая модель, которая наследует выразительность от ансамблей деревьев решений и описание неопределённости от байесовского подхода. Как это часто бывает, апостериорное распределение этой модели краткой аналитической формы не имеет, поэтому для работы с ней используются методы Монте-Карло на марковских цепях (MCMC).
Мы обсудим устройство модели, а также используемые методы MCMC. В оставшееся время обсудим направления для дальнейших исследований. Материал не требует специфической подготовки, но будет полезным понимание основных понятий теории цепей Маркова вплоть до стационарного распределения.
#spsu #seminar #markovlab
BART
Ссылка на трансляцию (среда 19 ноября, 14:00)
Максим Николаев
(МКН СПбГУ)
BART, Bayesian Additive Regression Trees — это непараметрическая модель, которая наследует выразительность от ансамблей деревьев решений и описание неопределённости от байесовского подхода. Как это часто бывает, апостериорное распределение этой модели краткой аналитической формы не имеет, поэтому для работы с ней используются методы Монте-Карло на марковских цепях (MCMC).
Мы обсудим устройство модели, а также используемые методы MCMC. В оставшееся время обсудим направления для дальнейших исследований. Материал не требует специфической подготовки, но будет полезным понимание основных понятий теории цепей Маркова вплоть до стационарного распределения.
#spsu #seminar #markovlab
🔥22❤2👍2