И вот мы заканчиваем серию рассказов о Mamba на семинаре лаборатории Маркова. Дойдём на этот раз уже до самых последних результатов: например, статья про Mamba-3 появилась на openreview 18 сентября 2025 года.
Последние новости: Gated Delta Networks и Mamba-3
Ссылка на трансляцию (среда 5 ноября, 14:00)
Никита Денисов, Александр Комнацкий
(Лаборатория Маркова, МКН СПбГУ)
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.
#markovlab #seminar #spsu
Последние новости: Gated Delta Networks и Mamba-3
Ссылка на трансляцию (среда 5 ноября, 14:00)
Никита Денисов, Александр Комнацкий
(Лаборатория Маркова, МКН СПбГУ)
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.
#markovlab #seminar #spsu
🔥11
А пока читатели уже слушают трансляцию нового семинара в лаборатории Маркова (слушаете же, правда? :) ), вот видео предыдущего:
Mamba 2: SSM и механизм внимания
(Слайды на странице семинара)
На этот раз доклад получился довольно коротким, меньше часа. Это, конечно, связано с логической структурой: Андрей рассказал замкнутый кусочек про Mamba 2 и связь между SSM и механизмами внимания, которая лежит в основе Mamba 2, а остальной материал серии (про gated delta networks) уже лучше будет излагать вместе с Mamba 3.
Зато с доской вроде бы всё устаканилось, я начал носить отдельную вебкамеру и теперь всё видно, а к небольшому видеомонтажу мне уже давно не привыкать. Впрочем, в этой лекции на доске был только один совсем небольшой кусочек.
#markovlab #seminar #spsu
Mamba 2: SSM и механизм внимания
(Слайды на странице семинара)
На этот раз доклад получился довольно коротким, меньше часа. Это, конечно, связано с логической структурой: Андрей рассказал замкнутый кусочек про Mamba 2 и связь между SSM и механизмами внимания, которая лежит в основе Mamba 2, а остальной материал серии (про gated delta networks) уже лучше будет излагать вместе с Mamba 3.
Зато с доской вроде бы всё устаканилось, я начал носить отдельную вебкамеру и теперь всё видно, а к небольшому видеомонтажу мне уже давно не привыкать. Впрочем, в этой лекции на доске был только один совсем небольшой кусочек.
#markovlab #seminar #spsu
❤7
Нарушу размеренное течение контента необычным видео. Месяца полтора назад меня позвали гостем в телепередачу "Очевидно. Вероятно" на ОТР. Позвал, вероятно (очевидно!), собственно Арутюн Ишханович Аветисян, ведущий передачи, которому за это спасибо! И вот передача вышла:
Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)
Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.
Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)
#publications #press #talks
Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)
Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.
Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)
#publications #press #talks
👍22🔥15❤8😍1
Я больше люблю короткие игры: и самому больше нравится закрыть все гештальты за пару вечеров, и еженедельные обзоры на сточасовые игры явно не получились бы.) Но вот в эту игру захотелось провалиться. Я написал большой обзор, так что настоятельно рекомендую пройти по ссылке, а здесь только структуру воспроизведу:
Blue Prince
Эта игра изрядно нашумела в момент выхода, на неё было много обзоров, так что думаю, что вы слышали о ней и без меня. Но всё равно хочется засвидетельствовать почтение: это великолепный... roguelike-квест! Автор открыл новый жанр и показал, как совместить в одной игре принципы "ещё один забег и спать", "как же это решить, я теперь не засну" и "у меня есть идея, сейчас её проверю и спать". [...]
История создания
Blue Prince — дебютный проект студии Dogubomb, но на самом деле её разрабатывал по сути один человек — Тонда Рос (Tonda Ros), который до 2016 года вообще не занимался разработкой игр [...]
Главным источником вдохновения для Blue Prince была легендарная книга Кристофера Мэнсона "Maze" [...]
Среди других источников — задачи Гарднера и Смаллиана, настольные игры с механикой драфтинга, классические Myst и Riven, книги жанра “armchair treasure hunt” [...]
О чём игра: жанр и геймплей
Blue Prince — это гибрид жанров, который Рос называет “архитектурным приключением”. По сути, это квест от первого лица с элементами roguelike и стратегии [...]
Сюжет прост: молодой человек приезжает в родовое поместье, чтобы получить наследство. Но, разумеется, есть условие: он должен найти тайную 46-ю комнату в особняке, где на первый взгляд их только 45 [...]
Каждый день дом меняется: проходя через дверь, игрок получает выбор из трёх случайно комнат-карт, из которых нужно выбрать ту, которая и появится на чертеже особняка; эта механика драфтинга — главная новизна игры, которая отлично сочетается с головоломками [...]
Загадки в Blue Prince великолепные. Я когда-то восхищался игрой Lorelei and the Laser Eyes, так вот, тут ещё интереснее получается. [...]
Например... [...] Или, например... [...]
Некоторые сложности
Мне понадобилось примерно 23-24 часа, чтобы найти комнату 46 и увидеть титры; это не спойлер, эту задачу ставят вам в самом начале. Однако — и это тоже, думаю, не спойлер — на этом игра совершенно не заканчивается! [...]
В итоге в папке осталось более двухсот пятидесяти скриншотов [...]
Кстати, в игре есть глубоко проработанный лор, и хотя я не добрался до того момента, когда придётся сдавать экзамен по истории Ориндии (поверьте, такой момент там наверняка будет), впечатлиться я успел... А кроме истории, есть ещё и текущая политика [...]
Пожалуй, это единственный "недостаток", который я могу выделить: слишком уж много всего в игре... Высокая продолжительность вытекает не столько из сложности, сколько из roguelike-сути игры: бывает, что для того, чтобы продвинуться дальше, нужно вытащить определённую комбинацию комнат или комнату с какими-то дополнительными условиями. А это может не случаться забег за забегом [...]
В первые двадцать часов, впрочем, это совершенно не беспокоит: у тебя всегда есть сразу много ниточек и возможностей для продвижения, и если одна из них требует везения, ничего страшного [...]
Заключение
Blue Prince стала одной из самых высокооценённых игр года: 92 балла на Metacritic, 96% рекомендаций на OpenCritic. [...]
И я совершенно согласен с критиками: это действительно уникальное достижение в мире инди-игр и головоломок. Восемь лет упорной работы дали миру игру, которая открыла новый жанр, оставаясь при этом чертовски увлекательным приключением. Да, это игра для тех, кто готов потратить десятки часов на разгадывание тайн, в ней нужно делать заметки и скриншоты, а иногда терпеливо полагаться на везение. Но Blue Prince дарит то самое чувство открытия и триумфа, когда очередная загадка наконец поддаётся. Очень рекомендую, к прохождению обязательна! И постарайтесь не читать спойлеров.
#tgif #games
Blue Prince
Эта игра изрядно нашумела в момент выхода, на неё было много обзоров, так что думаю, что вы слышали о ней и без меня. Но всё равно хочется засвидетельствовать почтение: это великолепный... roguelike-квест! Автор открыл новый жанр и показал, как совместить в одной игре принципы "ещё один забег и спать", "как же это решить, я теперь не засну" и "у меня есть идея, сейчас её проверю и спать". [...]
История создания
Blue Prince — дебютный проект студии Dogubomb, но на самом деле её разрабатывал по сути один человек — Тонда Рос (Tonda Ros), который до 2016 года вообще не занимался разработкой игр [...]
Главным источником вдохновения для Blue Prince была легендарная книга Кристофера Мэнсона "Maze" [...]
Среди других источников — задачи Гарднера и Смаллиана, настольные игры с механикой драфтинга, классические Myst и Riven, книги жанра “armchair treasure hunt” [...]
О чём игра: жанр и геймплей
Blue Prince — это гибрид жанров, который Рос называет “архитектурным приключением”. По сути, это квест от первого лица с элементами roguelike и стратегии [...]
Сюжет прост: молодой человек приезжает в родовое поместье, чтобы получить наследство. Но, разумеется, есть условие: он должен найти тайную 46-ю комнату в особняке, где на первый взгляд их только 45 [...]
Каждый день дом меняется: проходя через дверь, игрок получает выбор из трёх случайно комнат-карт, из которых нужно выбрать ту, которая и появится на чертеже особняка; эта механика драфтинга — главная новизна игры, которая отлично сочетается с головоломками [...]
Загадки в Blue Prince великолепные. Я когда-то восхищался игрой Lorelei and the Laser Eyes, так вот, тут ещё интереснее получается. [...]
Например... [...] Или, например... [...]
Некоторые сложности
Мне понадобилось примерно 23-24 часа, чтобы найти комнату 46 и увидеть титры; это не спойлер, эту задачу ставят вам в самом начале. Однако — и это тоже, думаю, не спойлер — на этом игра совершенно не заканчивается! [...]
В итоге в папке осталось более двухсот пятидесяти скриншотов [...]
Кстати, в игре есть глубоко проработанный лор, и хотя я не добрался до того момента, когда придётся сдавать экзамен по истории Ориндии (поверьте, такой момент там наверняка будет), впечатлиться я успел... А кроме истории, есть ещё и текущая политика [...]
Пожалуй, это единственный "недостаток", который я могу выделить: слишком уж много всего в игре... Высокая продолжительность вытекает не столько из сложности, сколько из roguelike-сути игры: бывает, что для того, чтобы продвинуться дальше, нужно вытащить определённую комбинацию комнат или комнату с какими-то дополнительными условиями. А это может не случаться забег за забегом [...]
В первые двадцать часов, впрочем, это совершенно не беспокоит: у тебя всегда есть сразу много ниточек и возможностей для продвижения, и если одна из них требует везения, ничего страшного [...]
Заключение
Blue Prince стала одной из самых высокооценённых игр года: 92 балла на Metacritic, 96% рекомендаций на OpenCritic. [...]
И я совершенно согласен с критиками: это действительно уникальное достижение в мире инди-игр и головоломок. Восемь лет упорной работы дали миру игру, которая открыла новый жанр, оставаясь при этом чертовски увлекательным приключением. Да, это игра для тех, кто готов потратить десятки часов на разгадывание тайн, в ней нужно делать заметки и скриншоты, а иногда терпеливо полагаться на везение. Но Blue Prince дарит то самое чувство открытия и триумфа, когда очередная загадка наконец поддаётся. Очень рекомендую, к прохождению обязательна! И постарайтесь не читать спойлеров.
#tgif #games
❤27👍8🔥4🌚1
В курсе "Основы байесовского вывода" в четверг продолжили (и закончили) разговор про байесовский выбор моделей:
СПбГУ — 2025.11.06 — Информационные критерии Такеучи и Акаике
(слайды, доска и код на странице курса)
Я начал с того, что договорил про эмпирический Байес: в примере с линейной регрессией там довольно изящный получается итеративный алгоритм для обучения α и β, то есть максимизации маргинального правдоподобия.
Но главное содержание лекции — это информационный критерий Акаике (AIC), который является частным случаем критерия Такеучи (TIC). Хотя он выглядит как нечто невероятно простое (по сути мы просто добавляем штраф в размере числа параметров к логарифму правдоподобия), на самом деле это нетривиальный результат с очень интересным доказательством! Если интересуетесь машинным обучением, я прямо рекомендую разобраться, это даёт взгляд на всё происходящее с немного другой стороны, больше со стороны классической статистики.
Красивенькие картинки на простых примерах тоже получаются, их я тоже показывал. Да и вообще статья про AIC — это одна из самых цитируемых работ во всей науке, не только в статистике и искусственном интеллекте; "Attention is All You Need", кажется, пока ещё не близко (если считать по Web of Science, а не по arXiv, конечно).
#spsu #lectures #bayes2025
СПбГУ — 2025.11.06 — Информационные критерии Такеучи и Акаике
(слайды, доска и код на странице курса)
Я начал с того, что договорил про эмпирический Байес: в примере с линейной регрессией там довольно изящный получается итеративный алгоритм для обучения α и β, то есть максимизации маргинального правдоподобия.
Но главное содержание лекции — это информационный критерий Акаике (AIC), который является частным случаем критерия Такеучи (TIC). Хотя он выглядит как нечто невероятно простое (по сути мы просто добавляем штраф в размере числа параметров к логарифму правдоподобия), на самом деле это нетривиальный результат с очень интересным доказательством! Если интересуетесь машинным обучением, я прямо рекомендую разобраться, это даёт взгляд на всё происходящее с немного другой стороны, больше со стороны классической статистики.
Красивенькие картинки на простых примерах тоже получаются, их я тоже показывал. Да и вообще статья про AIC — это одна из самых цитируемых работ во всей науке, не только в статистике и искусственном интеллекте; "Attention is All You Need", кажется, пока ещё не близко (если считать по Web of Science, а не по arXiv, конечно).
#spsu #lectures #bayes2025
🔥8❤5
Серия про Mamba закончилась, и в ближайшую среду будет (надеюсь!) интересный доклад по совсем другой теме. Он идеально попадает в тему курса "Глубокое обучение" — настолько удачно совпало, что я даже решил не рассказывать сам про VQ-VAE, а сослаться на доклад Захара. Присоединяйтесь в среду и вы!
VQ-VAE: когда нужны дискретные представления и как их готовить
Захар Варфоломеев (Songsterr, ex. Yandex Music)
Ссылка на трансляцию (среда 12 ноября, 14:00)
VQ-VAE — популярная нейросетевая архитектура, которая активно применяется в моделях, работающих с аудио, изображениями, видео, в мультимодальных моделях, а также в 3D-моделировании, трекинге движений и естественных науках (биологии, химии). На основе VQ-VAE создаются модели для сжатия и восстановления данных, которые сейчас используются во многих стриминговых платформах. Также VQ-VAE применяется для задач порождения или извлечения информации; например, на нём работает моё любимое audio2midi, которое я делаю, или panoptic segmentation.
В общем, идея полезная, но у VQ-VAE есть конкретные сценарии применения и проблемы, о которых речь пойдёт далее:
— он вычисляет N центроидов кластеров по картам признаков, полученным из кодировщика; кластеризация приводит к потере информации;
— инициализация центроидов кластеров значительно влияет на метрики для любой задачи; всем известный k-means даёт здесь полезную последовательность идей;
— через операцию VQ не протекают градиенты, поэтому мы вынуждены использовать аппроксимации, чаще всего STE;
— поскольку градиент останавливается после VQ, он не доходит до словаря и кодировщика; нужны вспомогательные функции потерь. Одна из них будет приближать выходы кодировщика к элементам словаря, вторая — приближать элементы словаря к выходам кодировщика; а это приводит к сложностям в оптимизации.
Поэтому для некоторых моделей в CV используют просто патчи, как в ViT. Это тоже интересный момент, и мы ещё вернемся к нему, а пока идём дальше.
— Часто вспомогательные лоссы считают L2-расстояние между конкретными семплами, и возникает коллапс словаря, когда модель использует только небольшую часть токенов, игнорируя остальные. Это снижает эффективность модели и происходит потому, что мы приближаем друг к другу лишь конкретные семплы, и ближе всех к выходам кодировщика будут последние, а большинство предыдущих окажутся дальше последних и никогда не будут выбраны. Поэтому создавать большие словари (10К+) не имеет смысла.
— При обучении с нуля подбор числа элементов словаря и их размерности — это трудоёмкий процесс: каждый раз нужно инициализировать словарь заново и проверять разные центроиды кластеров.
— Можно пробовать уменьшать число токенов, нужных для качественного восстановления данных из латентного пространства. Многие задачи требуют сжатия данных с низким битрейтом, однако VQ-VAE не всегда эффективно работает в таких условиях, особенно если требуется высокая точность восстановления.
— Часто для задач порождения или извлечения информации используют предобученные кодеки, и никто не хочет их менять под данные, модель и задачу, т.к. это может испортить кодек и потребует долгого подбора параметров. Но страдать придётся в любом случае: нужно подбирать и оптимизировать декодер на основе токенов из выбранного кодека.
— Регионы, по которым вычисляются латентные представления, имеют разную информационную плотность; в частности, мы хотим разделять регионы по смыслу, например токенизировать фон на изображении отдельно от основных объектов.
Это лишь основные проблемы, а далее мы обсудим пути их решения и посмотрим на актуальные применения VQ-представлений, затронув множество популярных доменов.
#markovlab #seminar #spsu
VQ-VAE: когда нужны дискретные представления и как их готовить
Захар Варфоломеев (Songsterr, ex. Yandex Music)
Ссылка на трансляцию (среда 12 ноября, 14:00)
VQ-VAE — популярная нейросетевая архитектура, которая активно применяется в моделях, работающих с аудио, изображениями, видео, в мультимодальных моделях, а также в 3D-моделировании, трекинге движений и естественных науках (биологии, химии). На основе VQ-VAE создаются модели для сжатия и восстановления данных, которые сейчас используются во многих стриминговых платформах. Также VQ-VAE применяется для задач порождения или извлечения информации; например, на нём работает моё любимое audio2midi, которое я делаю, или panoptic segmentation.
В общем, идея полезная, но у VQ-VAE есть конкретные сценарии применения и проблемы, о которых речь пойдёт далее:
— он вычисляет N центроидов кластеров по картам признаков, полученным из кодировщика; кластеризация приводит к потере информации;
— инициализация центроидов кластеров значительно влияет на метрики для любой задачи; всем известный k-means даёт здесь полезную последовательность идей;
— через операцию VQ не протекают градиенты, поэтому мы вынуждены использовать аппроксимации, чаще всего STE;
— поскольку градиент останавливается после VQ, он не доходит до словаря и кодировщика; нужны вспомогательные функции потерь. Одна из них будет приближать выходы кодировщика к элементам словаря, вторая — приближать элементы словаря к выходам кодировщика; а это приводит к сложностям в оптимизации.
Поэтому для некоторых моделей в CV используют просто патчи, как в ViT. Это тоже интересный момент, и мы ещё вернемся к нему, а пока идём дальше.
— Часто вспомогательные лоссы считают L2-расстояние между конкретными семплами, и возникает коллапс словаря, когда модель использует только небольшую часть токенов, игнорируя остальные. Это снижает эффективность модели и происходит потому, что мы приближаем друг к другу лишь конкретные семплы, и ближе всех к выходам кодировщика будут последние, а большинство предыдущих окажутся дальше последних и никогда не будут выбраны. Поэтому создавать большие словари (10К+) не имеет смысла.
— При обучении с нуля подбор числа элементов словаря и их размерности — это трудоёмкий процесс: каждый раз нужно инициализировать словарь заново и проверять разные центроиды кластеров.
— Можно пробовать уменьшать число токенов, нужных для качественного восстановления данных из латентного пространства. Многие задачи требуют сжатия данных с низким битрейтом, однако VQ-VAE не всегда эффективно работает в таких условиях, особенно если требуется высокая точность восстановления.
— Часто для задач порождения или извлечения информации используют предобученные кодеки, и никто не хочет их менять под данные, модель и задачу, т.к. это может испортить кодек и потребует долгого подбора параметров. Но страдать придётся в любом случае: нужно подбирать и оптимизировать декодер на основе токенов из выбранного кодека.
— Регионы, по которым вычисляются латентные представления, имеют разную информационную плотность; в частности, мы хотим разделять регионы по смыслу, например токенизировать фон на изображении отдельно от основных объектов.
Это лишь основные проблемы, а далее мы обсудим пути их решения и посмотрим на актуальные применения VQ-представлений, затронув множество популярных доменов.
#markovlab #seminar #spsu
🔥20❤7🤮4👍2⚡1
Собственно, доклад в среду станет естественным продолжением темы, которую мы начали в четверг в курсе "Глубокое обучение":
СПбГУ — 2025.11.06 — Вариационные автокодировщики
(слайды и доска на странице курса)
Вариационный автокодировщик (variational autoencoder, VAE) — одна из главных идей современного глубокого обучения. Я вот недавно перевыкладывал и вспоминал свои посты об этом в блоге Synthesis AI, и в лекции тоже примерно этот материал мы и обсудили: откуда берётся идея VAE, где там возникает приближённый вывод, как устроено в данном случае вариационное приближение...
Красота происходящего в том, что из вариационной оценки естественным образом получаются функции ошибки: и ошибка реконструкции (она, разумеется, получается из предположения на шум декодера, туда можно подставлять что угодно), и регуляризатор на распределение латентных кодов (а это уже интереснее). Дальше в среду послушаем о том, как латентное пространство может стать дискретным, а потом в четверг сделаем непрерывный кодировщик для дискретного пространства... да, странно звучит, но, надеюсь, разберёмся!
#spsu #lectures #dl2025
СПбГУ — 2025.11.06 — Вариационные автокодировщики
(слайды и доска на странице курса)
Вариационный автокодировщик (variational autoencoder, VAE) — одна из главных идей современного глубокого обучения. Я вот недавно перевыкладывал и вспоминал свои посты об этом в блоге Synthesis AI, и в лекции тоже примерно этот материал мы и обсудили: откуда берётся идея VAE, где там возникает приближённый вывод, как устроено в данном случае вариационное приближение...
Красота происходящего в том, что из вариационной оценки естественным образом получаются функции ошибки: и ошибка реконструкции (она, разумеется, получается из предположения на шум декодера, туда можно подставлять что угодно), и регуляризатор на распределение латентных кодов (а это уже интереснее). Дальше в среду послушаем о том, как латентное пространство может стать дискретным, а потом в четверг сделаем непрерывный кодировщик для дискретного пространства... да, странно звучит, но, надеюсь, разберёмся!
#spsu #lectures #dl2025
❤8❤🔥1
Выложил видео последнего доклада из серии про Mamba:
Последние новости: Gated Delta Networks и Mamba-3
(Слайды на странице семинара)
Мы дошли до самых последних работ в этом направлении: статью про Mamba 3 пока ещё только-только подали на ICLR 2026, она лежит только на openreview в анонимном виде. На этом разговоры про SSM заканчиваются, и завтра доклад будет уже на совершенно другую тему.
А ещё я забыл выложить традиционную фотографию, вот исправляюсь.
#markovlab #seminar #spsu
Последние новости: Gated Delta Networks и Mamba-3
(Слайды на странице семинара)
Мы дошли до самых последних работ в этом направлении: статью про Mamba 3 пока ещё только-только подали на ICLR 2026, она лежит только на openreview в анонимном виде. На этом разговоры про SSM заканчиваются, и завтра доклад будет уже на совершенно другую тему.
А ещё я забыл выложить традиционную фотографию, вот исправляюсь.
#markovlab #seminar #spsu
🔥14❤2💩1
А в курсе "Технологии и фронтиры науки о данных" в ЮФУ мы уже вовсю говорим о вероятностных основах ML!
Я очень стараюсь двигаться медленно и максимально понятно, и на этот раз мы два часа обсуждали первый пример:
ЮФУ — 2025.11.06 — Байесовский вывод для монетки
(слайды, доска и код на странице курса)
Сначала напомнил о том, какие вообще задачи машинное обучение решает с вероятностной точки зрения, а потом начали разбирать пример. Прямо полностью, детально, начиная с правдоподобия испытаний Бернулли (это тоже оказалось не вполне интуитивно), и до самого предсказательного распределения.
Про априорные распределения тоже поговорили, объяснил как смог про бета-распределение как сопряжённое для монетки и даже успел сказать пару слов о том, зачем могут быть нужны дробные гиперпараметры у априорного распределения.
В этот раз (наконец-то) большая часть разговора происходила на доске, и примеры в коде я тоже показывал.
Коллеги говорят, что вроде всё было в целом понятно, но сложненько. Завтра попробую поговорить про линейную регрессию... надеюсь, зайдёт.)
#sfu #lectures #dsfrontiers
Я очень стараюсь двигаться медленно и максимально понятно, и на этот раз мы два часа обсуждали первый пример:
ЮФУ — 2025.11.06 — Байесовский вывод для монетки
(слайды, доска и код на странице курса)
Сначала напомнил о том, какие вообще задачи машинное обучение решает с вероятностной точки зрения, а потом начали разбирать пример. Прямо полностью, детально, начиная с правдоподобия испытаний Бернулли (это тоже оказалось не вполне интуитивно), и до самого предсказательного распределения.
Про априорные распределения тоже поговорили, объяснил как смог про бета-распределение как сопряжённое для монетки и даже успел сказать пару слов о том, зачем могут быть нужны дробные гиперпараметры у априорного распределения.
В этот раз (наконец-то) большая часть разговора происходила на доске, и примеры в коде я тоже показывал.
Коллеги говорят, что вроде всё было в целом понятно, но сложненько. Завтра попробую поговорить про линейную регрессию... надеюсь, зайдёт.)
#sfu #lectures #dsfrontiers
❤16👍2💩1
Доклад вчера, кстати, безусловно удался. Большое спасибо Захару, он отлично подготовился, и этот семинар уже точно будет частью курса DL в этом году.)
Спасибо всем, кто пришёл, ну а дальше будет опять something completely different...
#markovlab #seminar #spsu
Спасибо всем, кто пришёл, ну а дальше будет опять something completely different...
#markovlab #seminar #spsu
❤35👍4🥴3