Серия докладов про Mamba на семинаре лаборатории Маркова будет продолжаться рассказом про Mamba 2. Смысл этой работы в том, что SSM и механизм внимания — это две стороны одной медали, и можно их объединить так, чтобы сделать гибридную архитектуру ещё более эффективной.
Mamba-2: SSM и механизм внимания
Ссылка на трансляцию (среда 29 октября, 14:00)
Андрей Лаэтин
Лаборатория Маркова, МКН СПбГУ
Мы продолжаем разбор моделей на основе State Space Models и переходим к Mamba-2 — архитектуре, выросшей из идеи Structured State-Space Duality (SSD), которая показывает, что SSM и механизм внимания можно рассматривать как два взгляда на одну и ту же структуру. Этот подход объединяет сильные стороны обоих направлений: эффективность и линейную масштабируемость SSM с выразительностью и гибкостью механизмов внимания.
Мы разберём, как устроен новый слой Mamba-2, чем он отличается от первой версии и как через SSD удаётся свести вычисления к матричным операциям, хорошо оптимизированным под GPU. Именно благодаря этому Mamba-2 работает в несколько раз быстрее Mamba-1 и остаётся конкурентоспособной с трансформерами по качеству на задачах языкового моделирования.
#markovlab #seminar #spsu
Mamba-2: SSM и механизм внимания
Ссылка на трансляцию (среда 29 октября, 14:00)
Андрей Лаэтин
Лаборатория Маркова, МКН СПбГУ
Мы продолжаем разбор моделей на основе State Space Models и переходим к Mamba-2 — архитектуре, выросшей из идеи Structured State-Space Duality (SSD), которая показывает, что SSM и механизм внимания можно рассматривать как два взгляда на одну и ту же структуру. Этот подход объединяет сильные стороны обоих направлений: эффективность и линейную масштабируемость SSM с выразительностью и гибкостью механизмов внимания.
Мы разберём, как устроен новый слой Mamba-2, чем он отличается от первой версии и как через SSD удаётся свести вычисления к матричным операциям, хорошо оптимизированным под GPU. Именно благодаря этому Mamba-2 работает в несколько раз быстрее Mamba-1 и остаётся конкурентоспособной с трансформерами по качеству на задачах языкового моделирования.
#markovlab #seminar #spsu
🔥14❤3🥰2
А вот пока видео семинара, прошедшего в прошлую среду:
Владислав Ушаков, Максим Романов
Погружение в детали реализации Mamba
(Слайды на странице семинара)
Для доски в этот раз принёс отдельную камеру, а потом её подмонтировал, так что надеюсь, что всё видно хорошо.
А в целом это был доклад во многом вообще о том, как устроены вычисления на GPU. Всем известно, что GPU — это много (тысячи) относительно слабых процессоров, а CPU — мало (десяток) относительно мощных. Но это же значит, что алгоритмы для вычислений на GPU должны быть немного другие, чтобы они смогли использовать этот высокий уровень параллелизма.
Так что мне кажется, что доклад может быть интересен и сам по себе, не только как вторая часть рассказа про современные state space models.
#markovlab #seminar #spsu
Владислав Ушаков, Максим Романов
Погружение в детали реализации Mamba
(Слайды на странице семинара)
Для доски в этот раз принёс отдельную камеру, а потом её подмонтировал, так что надеюсь, что всё видно хорошо.
А в целом это был доклад во многом вообще о том, как устроены вычисления на GPU. Всем известно, что GPU — это много (тысячи) относительно слабых процессоров, а CPU — мало (десяток) относительно мощных. Но это же значит, что алгоритмы для вычислений на GPU должны быть немного другие, чтобы они смогли использовать этот высокий уровень параллелизма.
Так что мне кажется, что доклад может быть интересен и сам по себе, не только как вторая часть рассказа про современные state space models.
#markovlab #seminar #spsu
🔥16❤3👍1
В популярном, рассчитанном на начинающих курсе "Технологии и фронтиры науки о данных" в ЮФУ прошла третья лекция. Проблемы со звуком, кажется, решились (спасибо комментаторам!), теперь всё звучит так же, как во всех других моих курсах:
ЮФУ — 2025.10.23 — GOFAI, экспертные системы, представление знаний
(слайды и доска на странице курса)
Это последняя сугубо историческая лекция, но уже не про Талоса и аль-Джазари, а про GOFAI шестидесятых и семидесятых, так что я в ней постарался всё-таки проводить параллели с современностью и рассказывать, что дожило до наших дней (спойлер: графы знаний дожили, а остальное в меньшей степени).
Начал с Logic Theorist, внезапно поговорил о том, что такое вообще матлогика и поиск вывода в формальных системах (чуть-чуть), потом Shakey the Robot (это когда нескольким аспирантам дали на лето задание решить компьютерное зрение), ELIZA (которая в 2025 году всё ещё была бейзлайном в статье про тест Тьюринга), SHRDLU и, наконец, машинный перевод в пятидесятые-шестидесятые годы, неизбежный провал которого стал одной из главных причин зимы искусственного интеллекта.
А в семидесятые годы был расцвет экспертных систем: MYCIN и ему подобные жонглировали факторами уверенности (certainty factors), Лотфи Заде разрабатывал нечёткую логику, а потом всё-таки Демпстер и Шейфер сказали, что все эти ваши факторы — это переизобретение обычных вероятностей; о вероятностях, впрочем, будем говорить в следующий раз.
Последний раздел — о представлении знаний. Здесь не знаю, насколько убедительно у меня получилось об этом рассказать, но в любом случае интересно проследить, что представление знаний об окружающем мире эволюционировало от сложного к простому. Были всякие разные идеи, от Квиллиана до Джона Совы, но реально всех победили и дожили до наших дней графы знаний (knowledge graphs), которые во многом являются самым простым из этих формализмов. Графы знаний, на мой взгляд, и прямо сейчас, в 2025 году, недооценённая штука; кстати, в контексте графов знаний я уже смог привести пример из последнего месяца, рассказав о статье, вышедшей 10 октября.
Дальше пойдём в сторону теории вероятностей; постараюсь всё-таки рассказать о главной сути, фундаменте машинного обучения — насколько смогу.
#sfu #lectures #dsfrontiers
ЮФУ — 2025.10.23 — GOFAI, экспертные системы, представление знаний
(слайды и доска на странице курса)
Это последняя сугубо историческая лекция, но уже не про Талоса и аль-Джазари, а про GOFAI шестидесятых и семидесятых, так что я в ней постарался всё-таки проводить параллели с современностью и рассказывать, что дожило до наших дней (спойлер: графы знаний дожили, а остальное в меньшей степени).
Начал с Logic Theorist, внезапно поговорил о том, что такое вообще матлогика и поиск вывода в формальных системах (чуть-чуть), потом Shakey the Robot (это когда нескольким аспирантам дали на лето задание решить компьютерное зрение), ELIZA (которая в 2025 году всё ещё была бейзлайном в статье про тест Тьюринга), SHRDLU и, наконец, машинный перевод в пятидесятые-шестидесятые годы, неизбежный провал которого стал одной из главных причин зимы искусственного интеллекта.
А в семидесятые годы был расцвет экспертных систем: MYCIN и ему подобные жонглировали факторами уверенности (certainty factors), Лотфи Заде разрабатывал нечёткую логику, а потом всё-таки Демпстер и Шейфер сказали, что все эти ваши факторы — это переизобретение обычных вероятностей; о вероятностях, впрочем, будем говорить в следующий раз.
Последний раздел — о представлении знаний. Здесь не знаю, насколько убедительно у меня получилось об этом рассказать, но в любом случае интересно проследить, что представление знаний об окружающем мире эволюционировало от сложного к простому. Были всякие разные идеи, от Квиллиана до Джона Совы, но реально всех победили и дожили до наших дней графы знаний (knowledge graphs), которые во многом являются самым простым из этих формализмов. Графы знаний, на мой взгляд, и прямо сейчас, в 2025 году, недооценённая штука; кстати, в контексте графов знаний я уже смог привести пример из последнего месяца, рассказав о статье, вышедшей 10 октября.
Дальше пойдём в сторону теории вероятностей; постараюсь всё-таки рассказать о главной сути, фундаменте машинного обучения — насколько смогу.
#sfu #lectures #dsfrontiers
❤13👏5
Семинар сегодня не отличался высокой посещаемостью, что и логично, конечно, для третьей части в серии из четырёх.
Зато из окон лаборатории Маркова виден Исаакиевский собор.
#markovlab #seminar #spsu
Зато из окон лаборатории Маркова виден Исаакиевский собор.
#markovlab #seminar #spsu
🔥26❤9👍2👀1
В курсе "Основы байесовского вывода" сегодня поговорили про байесовский выбор моделей:
СПбГУ — 2025.09.30 — Байесовский выбор моделей
(слайды и доска на странице курса)
Как понять, какая из нескольких возможных моделей лучше для того или иного датасета? Сравнивать правдоподобие недостаточно: у модели, у которой больше параметров, правдоподобие будет почти всегда выше, но это не значит, что она непременно лучше (самое высокое правдоподобие будет, разумеется, при жёстком оверфиттинге).
Как и практически всё в машинном обучении, сравнение моделей тоже происходит из теоремы Байеса: надо сравнивать правдоподобие, да, но после интегрирования по всевозможным параметрам модели, т.е. надо сравнивать знаменатели формулы Байеса, p(D). Так называемые информационные критерии как раз и строят аппроксимации к p(D), и в этой лекции мы рассмотрели байесовский информационный критерий (BIC).
А в последней части лекции начали разговор о так называемом эмпирическом Байесе (empirical Bayes): это та же самая идея, но применённая не к сравнению отдельных моделей, а к выбору гиперпараметров. Здесь всё хорошо видно на примере линейной регрессии; логарифм p(D) для линейной регрессии подсчитали сегодня, до алгоритма доведём в следующий раз.
#spsu #lectures #bayes2025
СПбГУ — 2025.09.30 — Байесовский выбор моделей
(слайды и доска на странице курса)
Как понять, какая из нескольких возможных моделей лучше для того или иного датасета? Сравнивать правдоподобие недостаточно: у модели, у которой больше параметров, правдоподобие будет почти всегда выше, но это не значит, что она непременно лучше (самое высокое правдоподобие будет, разумеется, при жёстком оверфиттинге).
Как и практически всё в машинном обучении, сравнение моделей тоже происходит из теоремы Байеса: надо сравнивать правдоподобие, да, но после интегрирования по всевозможным параметрам модели, т.е. надо сравнивать знаменатели формулы Байеса, p(D). Так называемые информационные критерии как раз и строят аппроксимации к p(D), и в этой лекции мы рассмотрели байесовский информационный критерий (BIC).
А в последней части лекции начали разговор о так называемом эмпирическом Байесе (empirical Bayes): это та же самая идея, но применённая не к сравнению отдельных моделей, а к выбору гиперпараметров. Здесь всё хорошо видно на примере линейной регрессии; логарифм p(D) для линейной регрессии подсчитали сегодня, до алгоритма доведём в следующий раз.
#spsu #lectures #bayes2025
❤10🔥2👍1
В прекрасном мультсериале “Disenchantment” (очень рекомендую!) есть раса эльфов, носящих говорящие имена. Они все заканчиваются на -o: Shocko, Watcho, Weirdo, Annoyo и так далее до собственно Elfo, одного из главных героев. С играми тоже так бывает, и сегодня у нас обзоры двух таких маленьких игр-эльфов; обе мне весьма понравились! Полный пост по ссылке:
Игры-эльфы: Carto и Gato Roboto
Carto
Милая небольшая головоломка, которая развивает одну и ту же механику: главная героиня — юный картограф, её карта игрового мира составлена из кусочков (почти всегда квадратных тайлов), и героиня может вращать каждый кусочек по отдельности, составляя из них карту в новых сочетаниях. Нужно только, чтобы тайлы подходили друг к другу, как в Carcassonne. Иногда это просто позволяет тебе пройти в нужное место, а иногда нужно составить специальные формы из тайлов, которые что-нибудь откроют.
Вот пример буквально из трейлера игры, так что спойлером его трудно назвать. Сначала слегка сумасшедшая сова рисует круг на земле и показывает, что тебе туда. Из этого тебе нужно догадаться, что нужно сделать круглую замкнутую речку, и тогда на острове в центре появится новый объект (персонаж в данном случае).
A ещё здесь есть бесконечно добрый и милый сюжет. В нём героиня ищет свою бабушку, летающую где-то на своём стимпанковском воздушном судне, а по дороге знакомится с обитателями разных биомов этого мира и их (порой странноватыми) обычаями. Впрочем, глубины сюжета или мощного лора тут не ждите: один из дизайнеров игры Ли-Куо Чен говорил, что вдохновение для нарратива игры они черпали из Atlas des Géographes d'Orbæ, прекрасной, но детской книги с картинками.
И сюжет, и мягкий юмор прекрасно подходят сути игры: ненавязчивая головоломка часов на пять. Кстати, играл на Steam Deck и могу сказать, что это идеальная игра для гейминга на ходу: одна глава занимает примерно полчаса, то есть как раз одну-две поездки в метро, а главы почти независимы. Рекомендую!
Gato Roboto
Далёкое будущее, а может, и далёкая галактика. Пилот космического корабля по имени Гэри отправляется к планете, с которой получил сигнал бедствия. На планете расположен некий исследовательский центр.
Однако происходит незапланированное: Кики, кошка Гэри, прогулялась по клавиатуре, и космический корабль падает прямо на какую-то лабораторию!
В результате пилот оказывается в ловушке, и спасать его должна Кики. Она оказывается очень смышлёной кошечкой (не то что Майлз!) и отправляется на поиски способа спасти хозяина. Так начинается 2D-метроидвания с очаровательной однобитной графикой, в которой Кики умеет бегать, прыгать, лазать по стенам и плавать, но умирает от первого касания любого врага.
К счастью, Кики вскоре находит костюм меха-робота, в котором у неё появляется health bar, две разные пушки, rocket jump и всё такое.
Я так подробно рассказал о завязке сюжета потому, что о самой игре особенно сказать нечего: это просто хорошая метроидвания (кажется, я недавно уже такое говорил). Главные её особенности — это необычная однобитная графика (один из collectibles в игре — аудиокассеты, которые дают тебе новые “палитры”… то есть заменяют белый цвет на другой оттенок) и забавная история про котика, которая по ходу игры очень хорошо раскрывается.
Но не беспокойтесь, всё закончится хорошо и быстро; Gato Roboto проходится часа за три-четыре (если вы не из этих, которым надо 100%). Ничего особенного, но пройти было приятно, рекомендую.
#games #tgif
Игры-эльфы: Carto и Gato Roboto
Carto
Милая небольшая головоломка, которая развивает одну и ту же механику: главная героиня — юный картограф, её карта игрового мира составлена из кусочков (почти всегда квадратных тайлов), и героиня может вращать каждый кусочек по отдельности, составляя из них карту в новых сочетаниях. Нужно только, чтобы тайлы подходили друг к другу, как в Carcassonne. Иногда это просто позволяет тебе пройти в нужное место, а иногда нужно составить специальные формы из тайлов, которые что-нибудь откроют.
Вот пример буквально из трейлера игры, так что спойлером его трудно назвать. Сначала слегка сумасшедшая сова рисует круг на земле и показывает, что тебе туда. Из этого тебе нужно догадаться, что нужно сделать круглую замкнутую речку, и тогда на острове в центре появится новый объект (персонаж в данном случае).
A ещё здесь есть бесконечно добрый и милый сюжет. В нём героиня ищет свою бабушку, летающую где-то на своём стимпанковском воздушном судне, а по дороге знакомится с обитателями разных биомов этого мира и их (порой странноватыми) обычаями. Впрочем, глубины сюжета или мощного лора тут не ждите: один из дизайнеров игры Ли-Куо Чен говорил, что вдохновение для нарратива игры они черпали из Atlas des Géographes d'Orbæ, прекрасной, но детской книги с картинками.
И сюжет, и мягкий юмор прекрасно подходят сути игры: ненавязчивая головоломка часов на пять. Кстати, играл на Steam Deck и могу сказать, что это идеальная игра для гейминга на ходу: одна глава занимает примерно полчаса, то есть как раз одну-две поездки в метро, а главы почти независимы. Рекомендую!
Gato Roboto
Далёкое будущее, а может, и далёкая галактика. Пилот космического корабля по имени Гэри отправляется к планете, с которой получил сигнал бедствия. На планете расположен некий исследовательский центр.
Однако происходит незапланированное: Кики, кошка Гэри, прогулялась по клавиатуре, и космический корабль падает прямо на какую-то лабораторию!
В результате пилот оказывается в ловушке, и спасать его должна Кики. Она оказывается очень смышлёной кошечкой (не то что Майлз!) и отправляется на поиски способа спасти хозяина. Так начинается 2D-метроидвания с очаровательной однобитной графикой, в которой Кики умеет бегать, прыгать, лазать по стенам и плавать, но умирает от первого касания любого врага.
К счастью, Кики вскоре находит костюм меха-робота, в котором у неё появляется health bar, две разные пушки, rocket jump и всё такое.
Я так подробно рассказал о завязке сюжета потому, что о самой игре особенно сказать нечего: это просто хорошая метроидвания (кажется, я недавно уже такое говорил). Главные её особенности — это необычная однобитная графика (один из collectibles в игре — аудиокассеты, которые дают тебе новые “палитры”… то есть заменяют белый цвет на другой оттенок) и забавная история про котика, которая по ходу игры очень хорошо раскрывается.
Но не беспокойтесь, всё закончится хорошо и быстро; Gato Roboto проходится часа за три-четыре (если вы не из этих, которым надо 100%). Ничего особенного, но пройти было приятно, рекомендую.
#games #tgif
❤7
В курсе "Глубокое обучение" в четверг продолжали обсуждать GAN'ы:
СПбГУ — 2025.10.30 — Порождающие состязательные сети
(слайды и доска на странице курса)
Поскольку у нас в этот раз больше времени на deep learning, я решил обсудить GAN'ы чуть подробнее, чем обычно; но всё равно, конечно, куда менее подробно, чем я это делал пять лет назад, когда GAN'ы были передним краем порождающих моделей не только в узких областях (как сейчас).
Тем не менее, мне кажется, что здесь есть много интересных идей, которые всё равно стоит изучить: ProGAN, который превращает порождение в последовательность задач superresolution, функции ошибки для GAN'ов в целом и особенно Wasserstein GAN в частности (там вообще очень глубокая идея в основе лежит, которую я всем рекомендую понять), состязательные автокодировщики (AAE) и так далее.
В последней части лекции рассказал case study про перенос стиля (style transfer): что это такое, базовая идея переноса стиля ещё до GAN'ов (Gatys et al., 2015), pix2pix, CycleGAN, AdaIN и немножко StyleGAN. Эту часть я уже комкал и уплотнял без заззрения совести, это не так важно — хотя, на мой взгляд, здесь опять же много крутых идей. В общем, рекомендую с GAN'ами всё-таки познакомиться, там на удивление много прикольных идей, которые можно рассказать на пальцах и которые при этом вполне работают.
#spsu #lectures #dl2025
СПбГУ — 2025.10.30 — Порождающие состязательные сети
(слайды и доска на странице курса)
Поскольку у нас в этот раз больше времени на deep learning, я решил обсудить GAN'ы чуть подробнее, чем обычно; но всё равно, конечно, куда менее подробно, чем я это делал пять лет назад, когда GAN'ы были передним краем порождающих моделей не только в узких областях (как сейчас).
Тем не менее, мне кажется, что здесь есть много интересных идей, которые всё равно стоит изучить: ProGAN, который превращает порождение в последовательность задач superresolution, функции ошибки для GAN'ов в целом и особенно Wasserstein GAN в частности (там вообще очень глубокая идея в основе лежит, которую я всем рекомендую понять), состязательные автокодировщики (AAE) и так далее.
В последней части лекции рассказал case study про перенос стиля (style transfer): что это такое, базовая идея переноса стиля ещё до GAN'ов (Gatys et al., 2015), pix2pix, CycleGAN, AdaIN и немножко StyleGAN. Эту часть я уже комкал и уплотнял без заззрения совести, это не так важно — хотя, на мой взгляд, здесь опять же много крутых идей. В общем, рекомендую с GAN'ами всё-таки познакомиться, там на удивление много прикольных идей, которые можно рассказать на пальцах и которые при этом вполне работают.
#spsu #lectures #dl2025
❤14
А вот ещё одно выступление, которому уже почти месяц: в начале октября выступал на конференции КИИ 2025 (XXII Национальная конференция по искусственному интеллекту, если формально). По сути это был мой обычный доклад о рассуждающих моделях и о том, как они начинают потихонечку двигать науку:
КИИ 2025 — 2025.10.07 — Рассуждающие модели и их успехи в науке
(слайды как всегда на страничке моих выступлений)
Спасибо за приглашение Игорю Витальевичу Котенко! Что до самого мероприятия, я, честно говоря, ожидал на КИИ некоторого скепсиса по отношению ко всем этим вашим новомодным LLM'кам. Но на самом деле слушали меня с большим интересом, а сессию вопросов пришлось прервать, так как программа конференции и так уже существенно задерживалась.
Не буду тут уже повторять все те тезисы, которые я и так каждый раз высказываю, и в этом докладе тоже высказывал; в общем, в интересные времена живём, товарищи.
#talks #conference
КИИ 2025 — 2025.10.07 — Рассуждающие модели и их успехи в науке
(слайды как всегда на страничке моих выступлений)
Спасибо за приглашение Игорю Витальевичу Котенко! Что до самого мероприятия, я, честно говоря, ожидал на КИИ некоторого скепсиса по отношению ко всем этим вашим новомодным LLM'кам. Но на самом деле слушали меня с большим интересом, а сессию вопросов пришлось прервать, так как программа конференции и так уже существенно задерживалась.
Не буду тут уже повторять все те тезисы, которые я и так каждый раз высказываю, и в этом докладе тоже высказывал; в общем, в интересные времена живём, товарищи.
#talks #conference
🔥12❤6😍1
В курсе "Технологии и фронтиры науки о данных" в ЮФУ на этот раз уже закончили с историей вопроса и перешли (thank God) к содержательной части:
ЮФУ — 2025.10.30 — Вероятностные основы машинного обучения
(слайды и доска на странице курса)
К этой части я приступал с некоторым трепетом, потому что, как вы понимаете, в популярных лекциях для первокурсников нельзя предполагать, что у студентов уже были курсы теорвера и матстатистики. Но вроде бы всё не так плохо, теорвер нынче в школе так или иначе проходят, и студенты в чате отвечали на мои вопросы достаточно бодро, хоть частенько и неправильно. :)
В общем, первая вероятностная лекция прошла в воспоминаниях о том, что такое вероятность, что такой байесовский взгляд на вероятности, а также в обсуждении вероятностных примеров, которые я обычно вспоминаю: ошибки прокурора и адвоката, пример Монти Холла (парадоксом его язык не очень поворачивается назвать), парадокс Спящей красавицы (а вот тут и правда есть о чём порассуждать).
В следующий раз попробую всё-таки рассказать о том, как обучать монетку, а то и о линейной регрессии. Надеюсь, прокатит.)
#sfu #lectures #dsfrontiers
ЮФУ — 2025.10.30 — Вероятностные основы машинного обучения
(слайды и доска на странице курса)
К этой части я приступал с некоторым трепетом, потому что, как вы понимаете, в популярных лекциях для первокурсников нельзя предполагать, что у студентов уже были курсы теорвера и матстатистики. Но вроде бы всё не так плохо, теорвер нынче в школе так или иначе проходят, и студенты в чате отвечали на мои вопросы достаточно бодро, хоть частенько и неправильно. :)
В общем, первая вероятностная лекция прошла в воспоминаниях о том, что такое вероятность, что такой байесовский взгляд на вероятности, а также в обсуждении вероятностных примеров, которые я обычно вспоминаю: ошибки прокурора и адвоката, пример Монти Холла (парадоксом его язык не очень поворачивается назвать), парадокс Спящей красавицы (а вот тут и правда есть о чём порассуждать).
В следующий раз попробую всё-таки рассказать о том, как обучать монетку, а то и о линейной регрессии. Надеюсь, прокатит.)
#sfu #lectures #dsfrontiers
👍14❤5
И вот мы заканчиваем серию рассказов о Mamba на семинаре лаборатории Маркова. Дойдём на этот раз уже до самых последних результатов: например, статья про Mamba-3 появилась на openreview 18 сентября 2025 года.
Последние новости: Gated Delta Networks и Mamba-3
Ссылка на трансляцию (среда 5 ноября, 14:00)
Никита Денисов, Александр Комнацкий
(Лаборатория Маркова, МКН СПбГУ)
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.
#markovlab #seminar #spsu
Последние новости: Gated Delta Networks и Mamba-3
Ссылка на трансляцию (среда 5 ноября, 14:00)
Никита Денисов, Александр Комнацкий
(Лаборатория Маркова, МКН СПбГУ)
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.
#markovlab #seminar #spsu
🔥11
А пока читатели уже слушают трансляцию нового семинара в лаборатории Маркова (слушаете же, правда? :) ), вот видео предыдущего:
Mamba 2: SSM и механизм внимания
(Слайды на странице семинара)
На этот раз доклад получился довольно коротким, меньше часа. Это, конечно, связано с логической структурой: Андрей рассказал замкнутый кусочек про Mamba 2 и связь между SSM и механизмами внимания, которая лежит в основе Mamba 2, а остальной материал серии (про gated delta networks) уже лучше будет излагать вместе с Mamba 3.
Зато с доской вроде бы всё устаканилось, я начал носить отдельную вебкамеру и теперь всё видно, а к небольшому видеомонтажу мне уже давно не привыкать. Впрочем, в этой лекции на доске был только один совсем небольшой кусочек.
#markovlab #seminar #spsu
Mamba 2: SSM и механизм внимания
(Слайды на странице семинара)
На этот раз доклад получился довольно коротким, меньше часа. Это, конечно, связано с логической структурой: Андрей рассказал замкнутый кусочек про Mamba 2 и связь между SSM и механизмами внимания, которая лежит в основе Mamba 2, а остальной материал серии (про gated delta networks) уже лучше будет излагать вместе с Mamba 3.
Зато с доской вроде бы всё устаканилось, я начал носить отдельную вебкамеру и теперь всё видно, а к небольшому видеомонтажу мне уже давно не привыкать. Впрочем, в этой лекции на доске был только один совсем небольшой кусочек.
#markovlab #seminar #spsu
❤7
Нарушу размеренное течение контента необычным видео. Месяца полтора назад меня позвали гостем в телепередачу "Очевидно. Вероятно" на ОТР. Позвал, вероятно (очевидно!), собственно Арутюн Ишханович Аветисян, ведущий передачи, которому за это спасибо! И вот передача вышла:
Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)
Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.
Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)
#publications #press #talks
Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)
Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.
Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)
#publications #press #talks
👍22🔥15❤8😍1