Выложил видео доклада Максима Николаева с семинара лаборатории Маркова:
BART
(Слайды на странице семинара)
Максим рассказывал с самого начала, от того, что такое вообще деревья принятия решений, а потом объяснил и суть байесовского подхода для деревьев, и конкретные алгоритмы, и даже общий смысл алгоритма Метрополиса-Гастингса и его важного частного случая, сэмплирования по Гиббсу.
Присоединяйтесь завтра, должно быть тоже очень интересно!
#spsu #seminar #markovlab
BART
(Слайды на странице семинара)
Максим рассказывал с самого начала, от того, что такое вообще деревья принятия решений, а потом объяснил и суть байесовского подхода для деревьев, и конкретные алгоритмы, и даже общий смысл алгоритма Метрополиса-Гастингса и его важного частного случая, сэмплирования по Гиббсу.
Присоединяйтесь завтра, должно быть тоже очень интересно!
#spsu #seminar #markovlab
🔥13❤1👍1
Давно уже в этом бизнесе, и AlexNet, и ChatGPT пережил, ан ведь всё равно ещё удивляют новые возможности иногда.
Как вы наверняка слышали, недавно вышла Gemini 3 Pro; ну и с гугловской text-to-image моделью Nano Banana она теперь тоже работает, как я понимаю.
И это, чёрт возьми, реально next level. Вот картинка про мою предыдущую лекцию в курсе "Глубокое обучение". Полную версию можно скачать по ссылке, там весь текст на самом деле чёткий и читаемый, 5Mb png.
Всё это порождено за считанные секунды, причём без слайдов лекции, по вот такому абстрактному запросу:
please generate a detailed infographic for a lecture on flow-based models that starts with the basic idea and goes through RealNVP, MAF, IAF, and Parallel Wavenet; show all the main ideas, don't be afraid of formulas, but also be creative in the imagery; please write in Russian in the captions
Почему-то именно порождение сложных картинок сильнее всего на меня воздействует эмоционально. Но доказать теорему тоже надо будет попросить.
#news #ai
Как вы наверняка слышали, недавно вышла Gemini 3 Pro; ну и с гугловской text-to-image моделью Nano Banana она теперь тоже работает, как я понимаю.
И это, чёрт возьми, реально next level. Вот картинка про мою предыдущую лекцию в курсе "Глубокое обучение". Полную версию можно скачать по ссылке, там весь текст на самом деле чёткий и читаемый, 5Mb png.
Всё это порождено за считанные секунды, причём без слайдов лекции, по вот такому абстрактному запросу:
please generate a detailed infographic for a lecture on flow-based models that starts with the basic idea and goes through RealNVP, MAF, IAF, and Parallel Wavenet; show all the main ideas, don't be afraid of formulas, but also be creative in the imagery; please write in Russian in the captions
Почему-то именно порождение сложных картинок сильнее всего на меня воздействует эмоционально. Но доказать теорему тоже надо будет попросить.
#news #ai
🔥49❤6
В курсе "Технологии и фронтиры науки о данных" в ЮФУ в прошлый четверг была лекция из двух частей:
ЮФУ — 2025.11.27 — Пример с COVID и основы классификации
(слайды, доска и код на странице курса)
Сначала я вспомнил интересный пример про ковид, который показывал с 2021 года (и в книге тоже описывал), но в последние годы как-то в основном курсе не хватало на него времени. Пример на основе статьи, которую, насколько я понимаю, реально использовали для принятия решений на раннем этапе развития эпидемии.
По сути там сначала получается интересный пример выделения признаков и преобразований для того, чтобы обучить сигмоидальную кривую линейной регрессией, а потом ещё более интересное подтверждение того, что всё это на самом деле ничего не даёт, ведь даже при выполнении всех предположений модели (что в реальности, конечно, не так) дисперсия предсказаний получается очень большая.
А потом мы перешли к задачам классификации. В основном я пытался донести геометрический смысл происходящего: как выглядят линейные разделяющие поверхности (для нескольких классов это нетривиальный вопрос), почему линейная классификация — это поиск хорошего направления для проекции, какие там подводные камни (на примере линейного дискриминанта Фишера) и так далее.
Рассказал и о том, что из порождающих моделей сразу следует оптимальный байесовский классификатор, показал это на примере гауссианов (LDA и QDA). Дальше на очереди логистическая регрессия.
#sfu #lectures #dsfrontiers
ЮФУ — 2025.11.27 — Пример с COVID и основы классификации
(слайды, доска и код на странице курса)
Сначала я вспомнил интересный пример про ковид, который показывал с 2021 года (и в книге тоже описывал), но в последние годы как-то в основном курсе не хватало на него времени. Пример на основе статьи, которую, насколько я понимаю, реально использовали для принятия решений на раннем этапе развития эпидемии.
По сути там сначала получается интересный пример выделения признаков и преобразований для того, чтобы обучить сигмоидальную кривую линейной регрессией, а потом ещё более интересное подтверждение того, что всё это на самом деле ничего не даёт, ведь даже при выполнении всех предположений модели (что в реальности, конечно, не так) дисперсия предсказаний получается очень большая.
А потом мы перешли к задачам классификации. В основном я пытался донести геометрический смысл происходящего: как выглядят линейные разделяющие поверхности (для нескольких классов это нетривиальный вопрос), почему линейная классификация — это поиск хорошего направления для проекции, какие там подводные камни (на примере линейного дискриминанта Фишера) и так далее.
Рассказал и о том, что из порождающих моделей сразу следует оптимальный байесовский классификатор, показал это на примере гауссианов (LDA и QDA). Дальше на очереди логистическая регрессия.
#sfu #lectures #dsfrontiers
🔥12❤3
О, да, совсем забыл традиционное фото с семинара. Исправляюсь, ещё успел сегодня!) Доклад был, кстати, очень крутой, там реально целая немаленькая область, которой ещё заниматься и заниматься. Спасибо Артёму, что приехал!
#spsu #markovlab #seminar
#spsu #markovlab #seminar
❤39
И вот ещё какой любопытный контент у меня недавно получился: меня пригласили гостем телепередачи "Вопрос науки". В прошлую пятницу вышла, можно смотреть здесь:
Вопрос науки: ИИ-психоз
(выложил на страничку "Выступления", но всё равно только по внешней ссылке)
Честно скажу, когда я в первый раз увидел тему и план передачи (с подводками и примерными вопросами), я даже хотел поначалу отказаться: там были собраны вместе самые сенсационные истории, главный посыл выглядел как "люди добрые, какой ужас творится", и на выходе я опасался получить тот самый мем "учёный изнасиловал журналиста".
Однако я очень рад, что не отказался! Мы пообщались с редактором, который на самом деле всё понимает и был очень открыт к моим замечаниям, а ведущим оказался настоящий учёный (хоть и другой специальности). В итоге все сенсационные случаи остались на месте (что естественно), но мы чуток подправили вопросы ко мне и общее течение программы, и в отведённые 15-20 минут я смог рассказать, что такое вообще LLM, как они в общих чертах работают и откуда берётся у них подхалимство (sycophancy), которое, собственно, и приводит к LLM-психозам (а они и правда бывают, тут никакого обмана).
Мне кажется, в итоге получился хороший содержательный разговор, и из него практически ничего и не вырезали. Спасибо большое редактору, ведущему и всем остальным, и надеюсь как-нибудь прийти ещё! :)
#press #talks #ai
Вопрос науки: ИИ-психоз
(выложил на страничку "Выступления", но всё равно только по внешней ссылке)
Честно скажу, когда я в первый раз увидел тему и план передачи (с подводками и примерными вопросами), я даже хотел поначалу отказаться: там были собраны вместе самые сенсационные истории, главный посыл выглядел как "люди добрые, какой ужас творится", и на выходе я опасался получить тот самый мем "учёный изнасиловал журналиста".
Однако я очень рад, что не отказался! Мы пообщались с редактором, который на самом деле всё понимает и был очень открыт к моим замечаниям, а ведущим оказался настоящий учёный (хоть и другой специальности). В итоге все сенсационные случаи остались на месте (что естественно), но мы чуток подправили вопросы ко мне и общее течение программы, и в отведённые 15-20 минут я смог рассказать, что такое вообще LLM, как они в общих чертах работают и откуда берётся у них подхалимство (sycophancy), которое, собственно, и приводит к LLM-психозам (а они и правда бывают, тут никакого обмана).
Мне кажется, в итоге получился хороший содержательный разговор, и из него практически ничего и не вырезали. Спасибо большое редактору, ведущему и всем остальным, и надеюсь как-нибудь прийти ещё! :)
#press #talks #ai
❤32🔥12👍7
Сегодня у нас в пятничной рубрике игра, которая звучит как мечта: красиво, разнообразно, с мета-нарративом без четвёртой стены, с несколькими типами загадок, про каждому из которых можно было бы сделать отдельную крутую игру. Но, увы, здесь начинаются минусы...
Как всегда, здесь только структура, полный текст и иллюстрации по ссылке; и прочитайте, пожалуйста, абзац в конце, там обращение к читателям:
The Plucky Squire: Четвёртая стена детского театра
История создания и разработчики
[...] Тёрнер пришёл в игровую индустрию из анимации [...] а Джонатан Биддл был совладельцем и директором по дизайну издательства Curve Digital. [...] В общем, с артом и дизайном в The Plucky Squire всё должно было быть хорошо. Проект начался с концептуальной идеи Тёрнера о трёхмерной книге [...]
Отличные идеи
Хотя это очень детская игра по визуалу, настроению и всему остальному, по сути она очень интересно играет с четвёртой стеной. [...] Всё начинается с того, что твоего персонажа представляют как главного героя сказочного королевства [...] Но быстро выясняется, что действие игры действительно происходит в книге сказок. Более того, многие персонажи понимают это! Четвёртая стена сначала ломается, а потом её обломки сметают в сторону, и больше про неё уже никто не вспоминает. [...]
Центральная механика игры построена на уникальной способности главного персонажа: он может выйти из книги и попасть в трёхмерный мир [...] Более того, герой может взаимодействовать с самой книгой: перелистывать страницы, манипулировать объектами на столе, использовать предметы из "реального" мира для решения головоломок в книге.
Но и это ещё не всё! Сражения с боссами представляют собой очень круто оформленные мини-игры [...] А ещё здесь есть детская версия Baba Is You! Некоторые загадки представляют собой предложения, из которых можно вынимать слова и вставлять на их место другие [...]
Посредственная реализация
К сожалению, при всей визуальной привлекательности и изобретательности концепции, The Plucky Squire на всём своём протяжении страдает от одной и той же проблемы: разработчики как будто побоялись сделать игру требующей хоть каких-то усилий. [...]
Начнём с боевой системы: она есть, но непонятно зачем [...] Пожалуй, лучше было бы бои вообще убрать, или превратить их в головоломки.
Кстати, про головоломки — вот здесь, увы, катастрофа. Блестящая идея с использованием книги [...] практически не используется совсем. Только в самом конце игры начали появляться хоть немного интересные загадки. [...]
Я прошёл игру за 7-8 часов, что для такого проекта совсем немного. Но ощущалось это как гораздо более долгое прохождение, потому что в геймплее так и не появилось ничего интересного. [...] Отдельно отмечу технические недостатки [...] постоянные заикания и фризы, которые буквально не давали проходить платформинг-части и мешали боям. И это на RTX 3080 Ti! [...]
Заключение
К сожалению, должен признать, что The Plucky Squire — это игра упущенных возможностей. Здесь множество крутых идей, красивый визуальный стиль, обаятельный мир... но многие из этих элементов так и остались на уровне концепции. [...] Первые два часа действительно вдохновляют и удивляют. Но будьте готовы к тому, что дальше может оказаться не так круто; эту книгу интересно полистать, но вряд ли захочется перечитывать.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру; в этом году была Assassin's Creed: Odyssey, два года назад — Atomic Heart. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
Как всегда, здесь только структура, полный текст и иллюстрации по ссылке; и прочитайте, пожалуйста, абзац в конце, там обращение к читателям:
The Plucky Squire: Четвёртая стена детского театра
История создания и разработчики
[...] Тёрнер пришёл в игровую индустрию из анимации [...] а Джонатан Биддл был совладельцем и директором по дизайну издательства Curve Digital. [...] В общем, с артом и дизайном в The Plucky Squire всё должно было быть хорошо. Проект начался с концептуальной идеи Тёрнера о трёхмерной книге [...]
Отличные идеи
Хотя это очень детская игра по визуалу, настроению и всему остальному, по сути она очень интересно играет с четвёртой стеной. [...] Всё начинается с того, что твоего персонажа представляют как главного героя сказочного королевства [...] Но быстро выясняется, что действие игры действительно происходит в книге сказок. Более того, многие персонажи понимают это! Четвёртая стена сначала ломается, а потом её обломки сметают в сторону, и больше про неё уже никто не вспоминает. [...]
Центральная механика игры построена на уникальной способности главного персонажа: он может выйти из книги и попасть в трёхмерный мир [...] Более того, герой может взаимодействовать с самой книгой: перелистывать страницы, манипулировать объектами на столе, использовать предметы из "реального" мира для решения головоломок в книге.
Но и это ещё не всё! Сражения с боссами представляют собой очень круто оформленные мини-игры [...] А ещё здесь есть детская версия Baba Is You! Некоторые загадки представляют собой предложения, из которых можно вынимать слова и вставлять на их место другие [...]
Посредственная реализация
К сожалению, при всей визуальной привлекательности и изобретательности концепции, The Plucky Squire на всём своём протяжении страдает от одной и той же проблемы: разработчики как будто побоялись сделать игру требующей хоть каких-то усилий. [...]
Начнём с боевой системы: она есть, но непонятно зачем [...] Пожалуй, лучше было бы бои вообще убрать, или превратить их в головоломки.
Кстати, про головоломки — вот здесь, увы, катастрофа. Блестящая идея с использованием книги [...] практически не используется совсем. Только в самом конце игры начали появляться хоть немного интересные загадки. [...]
Я прошёл игру за 7-8 часов, что для такого проекта совсем немного. Но ощущалось это как гораздо более долгое прохождение, потому что в геймплее так и не появилось ничего интересного. [...] Отдельно отмечу технические недостатки [...] постоянные заикания и фризы, которые буквально не давали проходить платформинг-части и мешали боям. И это на RTX 3080 Ti! [...]
Заключение
К сожалению, должен признать, что The Plucky Squire — это игра упущенных возможностей. Здесь множество крутых идей, красивый визуальный стиль, обаятельный мир... но многие из этих элементов так и остались на уровне концепции. [...] Первые два часа действительно вдохновляют и удивляют. Но будьте готовы к тому, что дальше может оказаться не так круто; эту книгу интересно полистать, но вряд ли захочется перечитывать.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру; в этом году была Assassin's Creed: Odyssey, два года назад — Atomic Heart. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
🔥7❤4
В курсе "Основы байесовского вывода" в четверг в общем-то закончили обычную программу первого семестра:
СПбГУ — 2025.12.03 — Экспоненциальное семейство и GLM
(слайды, доска и код на странице курса)
Экспоненциальное семейство — очень правильная степень общности для машинного обучения. Для распределений из экспоненциального семейства можно и правдоподобие максимизировать универсальным образом (совсем тривиально в параметризации средним), и достаточные статистики имеют прямой смысл для ML, и сопряжённые априорные получаются автоматически, и даже предсказательное распределение (насколько это возможно).
А обобщённые линейные модели — это правильная степень общности для линейной и логистической регрессии. Действительно, странно выглядит, что мы много обсуждаем, как подставить линейную функцию в softmax, и никогда не пытаемся сменить "функцию активации" и подставить её куда-то ещё.
Этот семестр очень долгий получается, 16 лекций. Так что дальше, наверное, не буду возвращать пропущенные второстепенные примеры вроде эффекта горячей руки, а начну материал второго семестра. Этак и ещё раньше глубокое обучение начнём весной.)
#spsu #lectures #bayes2025
СПбГУ — 2025.12.03 — Экспоненциальное семейство и GLM
(слайды, доска и код на странице курса)
Экспоненциальное семейство — очень правильная степень общности для машинного обучения. Для распределений из экспоненциального семейства можно и правдоподобие максимизировать универсальным образом (совсем тривиально в параметризации средним), и достаточные статистики имеют прямой смысл для ML, и сопряжённые априорные получаются автоматически, и даже предсказательное распределение (насколько это возможно).
А обобщённые линейные модели — это правильная степень общности для линейной и логистической регрессии. Действительно, странно выглядит, что мы много обсуждаем, как подставить линейную функцию в softmax, и никогда не пытаемся сменить "функцию активации" и подставить её куда-то ещё.
Этот семестр очень долгий получается, 16 лекций. Так что дальше, наверное, не буду возвращать пропущенные второстепенные примеры вроде эффекта горячей руки, а начну материал второго семестра. Этак и ещё раньше глубокое обучение начнём весной.)
#spsu #lectures #bayes2025
🔥6❤3👍1
А следующий доклад на семинаре лаборатории Маркова возвращает нас к долгой серии о Mamba (которую можно посмотреть по ссылке в предыдущих выпусках). Правда, на этот раз доклад будет удалённый и на английском, но думаю, что это не помешает успеху:
The Expressive Capacity of State Space Models: A Formal Language Perspective
Яна Вейцман
(Гёттингенский университет / Саарский университет)
Ссылка на трансляцию (среда 10 декабря, 14:00)
State Space Models (SSM) за последние годы стремительно набрали популярность, демонстрируя качество языкового моделирования, сопоставимое с трансформерами. Однако их фундаментальные теоретические свойства до сих пор остаются малоизученными. В докладе Яны Вейцман будут представлены результаты исследования 2024 года, в котором впервые проводится систематический теоретический анализ выразительной мощности SSM по сравнению с трансформерами и классическими RNN в рамках парадигмы формальных языков.
Мы обсудим пересекающиеся, но различающиеся сильные стороны SSM и трансформеров. В частности, речь пойдёт о способности SSM эффективно решать задачи слежения за состоянием в star-free языках — области, где трансформеры испытывают существенные трудности. Кроме того, будет показано, что SSM способны оптимально моделировать ограниченные иерархические структуры без явной симуляции стека. При этом в общепринятом дизайне современных SSM скрыто конструктивное ограничение, которое существенно снижает их выразительность.
В докладе также будет обсуждаться, какие практические выводы следуют из этих теоретических результатов для будущего архитектур SSM, развития языковых моделей и систем вроде Mamba, а также какие новые направления исследований они открывают.
#spsu #seminar #markovlab
The Expressive Capacity of State Space Models: A Formal Language Perspective
Яна Вейцман
(Гёттингенский университет / Саарский университет)
Ссылка на трансляцию (среда 10 декабря, 14:00)
State Space Models (SSM) за последние годы стремительно набрали популярность, демонстрируя качество языкового моделирования, сопоставимое с трансформерами. Однако их фундаментальные теоретические свойства до сих пор остаются малоизученными. В докладе Яны Вейцман будут представлены результаты исследования 2024 года, в котором впервые проводится систематический теоретический анализ выразительной мощности SSM по сравнению с трансформерами и классическими RNN в рамках парадигмы формальных языков.
Мы обсудим пересекающиеся, но различающиеся сильные стороны SSM и трансформеров. В частности, речь пойдёт о способности SSM эффективно решать задачи слежения за состоянием в star-free языках — области, где трансформеры испытывают существенные трудности. Кроме того, будет показано, что SSM способны оптимально моделировать ограниченные иерархические структуры без явной симуляции стека. При этом в общепринятом дизайне современных SSM скрыто конструктивное ограничение, которое существенно снижает их выразительность.
В докладе также будет обсуждаться, какие практические выводы следуют из этих теоретических результатов для будущего архитектур SSM, развития языковых моделей и систем вроде Mamba, а также какие новые направления исследований они открывают.
#spsu #seminar #markovlab
❤18🔥7
В курсе "Глубокое обучение" дошли до LLM! Но не сразу:
СПбГУ — 2025.12.04 — Flow matching и идея LLM
(слайды и доска на странице курса)
Начал с идеи непрерывных потоков и flow matching; это очень важная штука для всего, что сейчас происходит с картинками и видео, многие последние порождающие модели её используют. А может, и для текстов когда-нибудь станет важной, diffusion LLMs уже бывают. Сам я в непрерывной математике, мягко скажем, не специалист, так что просто наметил основные идеи, а в деталях МКНовские студенты наверняка разберутся лучше меня.
А потом начал последний раздел курса, про большие языковые модели. В эту лекцию успел рассказать основную идею языкового моделирования (впрочем, идея self-supervision и так уже много раз появлялась), поговорить о законах масштабирования и о том, почему мне кажется, что прогресс пока не собирается останавливаться - да, то самое ашенбреннеровское деление на physical scaling, algorithmic progress и unhobbling.
Дальше поговорим про дообучение (в частности RLHF), проблему с квадратичной сложностью, а там уже посмотрим, сколько времени останется; хочется, конечно, и за AI safety словечко замолвить.
#spsu #lectures #dl2025
СПбГУ — 2025.12.04 — Flow matching и идея LLM
(слайды и доска на странице курса)
Начал с идеи непрерывных потоков и flow matching; это очень важная штука для всего, что сейчас происходит с картинками и видео, многие последние порождающие модели её используют. А может, и для текстов когда-нибудь станет важной, diffusion LLMs уже бывают. Сам я в непрерывной математике, мягко скажем, не специалист, так что просто наметил основные идеи, а в деталях МКНовские студенты наверняка разберутся лучше меня.
А потом начал последний раздел курса, про большие языковые модели. В эту лекцию успел рассказать основную идею языкового моделирования (впрочем, идея self-supervision и так уже много раз появлялась), поговорить о законах масштабирования и о том, почему мне кажется, что прогресс пока не собирается останавливаться - да, то самое ашенбреннеровское деление на physical scaling, algorithmic progress и unhobbling.
Дальше поговорим про дообучение (в частности RLHF), проблему с квадратичной сложностью, а там уже посмотрим, сколько времени останется; хочется, конечно, и за AI safety словечко замолвить.
#spsu #lectures #dl2025
🔥11❤3
🔥38❤7😁3