В следующий раз на семинаре лаборатории Маркова будет не один доклад, а сразу семь (надеюсь) по цене одного:
Разбор лучших статей NeurIPS 2025
Ссылка на трансляцию (среда 17 декабря, 14:00)
Сотрудники лаборатории Маркова
Лучшие из пяти тысяч статей NeurIPS, получившие best paper awards, уже опубликованы. Так что на заключительном заседании семинара мы решили провести их краткий разбор. Будет семь (или шесть, как получится) докладов по 10-15 минут:
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
— Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
— Optimal Mistake Bounds for Transductive Online Learning
— Superposition Yields Robust Neural Scaling
#markovlab #seminar #spsu
Разбор лучших статей NeurIPS 2025
Ссылка на трансляцию (среда 17 декабря, 14:00)
Сотрудники лаборатории Маркова
Лучшие из пяти тысяч статей NeurIPS, получившие best paper awards, уже опубликованы. Так что на заключительном заседании семинара мы решили провести их краткий разбор. Будет семь (или шесть, как получится) докладов по 10-15 минут:
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
— Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
— Optimal Mistake Bounds for Transductive Online Learning
— Superposition Yields Robust Neural Scaling
#markovlab #seminar #spsu
🔥24❤2
В курсе "Глубокое обучение" продолжаем разговор про LLM. Рассказал об основных проблемах больших языковых моделей:
СПбГУ — 2025.12.11 — Проблемы LLM и их решения
(слайды на странице курса)
Первая проблема LLM в том, что базовая модель не очень-то хочет отвечать на ваши вопросы, и её обязательно нужно дообучать. Поэтому поговорили про RLHF и его особенности, а потом про дообучение LLM с учителем (SFT) и, в частности, про адаптеры и LoRA (низкоранговые адаптеры).
Вторая проблема LLM — в квадратичной сложности самовнимания. Слои self-attention не очень масштабируются, и если вы хотите прочитать миллион токенов, придётся использовать какие-нибудь трюки: или разреженное внимание, или опять низкоранговые приближения, или, самое интересное, линейные механизмы внимания, о которых мы много говорили в этом семестре на семинаре лаборатории Маркова (та самая Mamba, см. по тегу #markovlab).
Третья проблема — какой бы большой ни была модель, весь интернет она запомнить не сможет. Так что поговорили о том, как добавить в LLM поиск: RAG, R[e]aLM и ещё немножко про графы знаний в LLM.
Следующая лекция — последняя; поговорим о рассуждающих моделях, а потом... а потом подумаю о чём, но точно о чём-нибудь интересном.)
#spsu #lectures #dl2025
СПбГУ — 2025.12.11 — Проблемы LLM и их решения
(слайды на странице курса)
Первая проблема LLM в том, что базовая модель не очень-то хочет отвечать на ваши вопросы, и её обязательно нужно дообучать. Поэтому поговорили про RLHF и его особенности, а потом про дообучение LLM с учителем (SFT) и, в частности, про адаптеры и LoRA (низкоранговые адаптеры).
Вторая проблема LLM — в квадратичной сложности самовнимания. Слои self-attention не очень масштабируются, и если вы хотите прочитать миллион токенов, придётся использовать какие-нибудь трюки: или разреженное внимание, или опять низкоранговые приближения, или, самое интересное, линейные механизмы внимания, о которых мы много говорили в этом семестре на семинаре лаборатории Маркова (та самая Mamba, см. по тегу #markovlab).
Третья проблема — какой бы большой ни была модель, весь интернет она запомнить не сможет. Так что поговорили о том, как добавить в LLM поиск: RAG, R[e]aLM и ещё немножко про графы знаний в LLM.
Следующая лекция — последняя; поговорим о рассуждающих моделях, а потом... а потом подумаю о чём, но точно о чём-нибудь интересном.)
#spsu #lectures #dl2025
🔥11😈4❤2👍2🤔1
Выложил видео доклада Яны Вейцман с семинара лаборатории Маркова:
The Expressive Capacity of State Space Models: A Formal Language Perspective
(слайды на странице семинара)
Главный смысл доклада был в том, как найти какой-нибудь концептуальный способ сравнить между собой выразительность разных архитектур. Мы условно и нечётко понимаем, что трансформеры хороши в одном, SSM в другом, а LSTM в третьем (или полностью перекрывается уже?), но как это формально определить и отделить одно от другого?
В докладе для этого предлагался взгляд со стороны формальных языков: каким-то языкам легко обучаются одни архитектуры, а каким-то — другие. Дальше уже лучше слушать доклад, но, в общем, какая-то структура "теоретических бенчмарков", в которую могли бы уложиться и новые, ещё не существующие архитектуры, — это крутая исследовательская программа.
Присоединяйтесь завтра! Завтра не роман, а сборник рассказов, а это ведь всегда интереснее.
#spsu #seminar #markovlab
The Expressive Capacity of State Space Models: A Formal Language Perspective
(слайды на странице семинара)
Главный смысл доклада был в том, как найти какой-нибудь концептуальный способ сравнить между собой выразительность разных архитектур. Мы условно и нечётко понимаем, что трансформеры хороши в одном, SSM в другом, а LSTM в третьем (или полностью перекрывается уже?), но как это формально определить и отделить одно от другого?
В докладе для этого предлагался взгляд со стороны формальных языков: каким-то языкам легко обучаются одни архитектуры, а каким-то — другие. Дальше уже лучше слушать доклад, но, в общем, какая-то структура "теоретических бенчмарков", в которую могли бы уложиться и новые, ещё не существующие архитектуры, — это крутая исследовательская программа.
Присоединяйтесь завтра! Завтра не роман, а сборник рассказов, а это ведь всегда интереснее.
#spsu #seminar #markovlab
🔥16👍1
Продолжаем тему общих сюжетов о важном в курсе "Технологии и фронтиры науки о данных" в ЮФУ:
ЮФУ — 2025.12.11 — Функция регрессии, bias-variance-noise, выбор моделей
(слайды, доска и код на странице курса)
Начали со статистической теории принятия решений, то есть о том, что такое функция регрессии, идеальный возможный ответ. Это забавный результат: он абсолютно тривиальный и кажется бессмысленным, но в случае регрессии помогает понять, как и когда работает метод ближайших соседей, а в случае классификации тут же даёт возможность перевзвешивать разные виды ошибок.
Логичное продолжение этой темы — разложение bias-variance-noise, которое показывает самый главный tradeoff в машинном обучении: некоторые модели слишком зависят от конкретного датасета, а некоторые не зависят, зато не факт что восстанавливают то, что нужно, даже в ожидании.
И, наконец, обсудили байесовский выбор моделей. Оказывается, что модели очень логично сравнивать по... знаменателю теоремы Байеса, то есть по общему правдоподобию данных p(D) (проинтегрированному по апостериорным θ). Сильно дальше этой идеи я не продвинулся, но показал простой пример, какие-то проясняющие картиночки и показал без особых объяснений информационные критерии (байесовский и Акаике).
#sfu #lectures #dsfrontiers
ЮФУ — 2025.12.11 — Функция регрессии, bias-variance-noise, выбор моделей
(слайды, доска и код на странице курса)
Начали со статистической теории принятия решений, то есть о том, что такое функция регрессии, идеальный возможный ответ. Это забавный результат: он абсолютно тривиальный и кажется бессмысленным, но в случае регрессии помогает понять, как и когда работает метод ближайших соседей, а в случае классификации тут же даёт возможность перевзвешивать разные виды ошибок.
Логичное продолжение этой темы — разложение bias-variance-noise, которое показывает самый главный tradeoff в машинном обучении: некоторые модели слишком зависят от конкретного датасета, а некоторые не зависят, зато не факт что восстанавливают то, что нужно, даже в ожидании.
И, наконец, обсудили байесовский выбор моделей. Оказывается, что модели очень логично сравнивать по... знаменателю теоремы Байеса, то есть по общему правдоподобию данных p(D) (проинтегрированному по апостериорным θ). Сильно дальше этой идеи я не продвинулся, но показал простой пример, какие-то проясняющие картиночки и показал без особых объяснений информационные критерии (байесовский и Акаике).
#sfu #lectures #dsfrontiers
❤7🔥4👍1
Сегодня семинар был чертовски представительный: выступали заведующий лабораторией Маркова и лауреат Филдсовской премии, причём это два разных человека.
Разумеется, ничего мы не успели, успели только три из семи докладов, так что разбор статей NeurIPS продолжится на следующей неделе. Следите за объявлениями!
#spsu #markovlab #seminar
Разумеется, ничего мы не успели, успели только три из семи докладов, так что разбор статей NeurIPS продолжится на следующей неделе. Следите за объявлениями!
#spsu #markovlab #seminar
🔥41❤10😁2👍1
Начинаю заканчивать семестр! Сегодня в последнем занятии курса "Основы байесовского вывода" закончил сюжет, начатый неделю назад:
СПбГУ — 2025.12.18 — Ядерные методы и метод релевантных векторов
(слайды, доска и код на странице курса)
Эквивалентное ядро — это очень простое замечание, которое сразу следует из выведенных нами когда-то формул для линейной регрессии: если их переписать в ядерной форме
В целом же ядерные методы — это когда мы представляем ответ как линейную комбинацию точек данных с коэффициентами, представляющими собой меру похожести в некотором пространстве признаков, то есть просто симметричную положительно определённую функцию от x, то самое ядро. Это большая отдельная наука, в которую я углубляться не буду, показал один пример, да и ладно.
А главным содержанием был метод релевантных векторов (relevance vector machines, RVM). Очень крутая идея, продолжающая эмпирический Байес: можно рассмотреть тот же ядерный метод как линейную регрессию, ввести в ней более детальное априорное распределение, чем обычно, с отдельными дисперсиями для каждого веса, и оптимизировать эти дисперсии эмпирическим Байесом. В итоге получится, что большинство дисперсий сходятся к нулю, что означает, что эти точки нам для предсказаний не нужны! Оставшиеся точки — те самые релевантные векторы, и их обычно получается куда меньше, чем у аналогичной SVM, а ещё и вероятности сами собой получаются на выходе, и мультиклассовая классификация делается без проблем... сказка, а не метод. Впрочем, есть и минусы: иногда он не сходится (точнее, не расходится) очень долго, и это не предскажешь заранее, а ещё Microsoft его запатентовала (в 2000 году, когда RVM появились), что тоже на его популярности сказалось не очень хорошо.
И на этом первый семестр закончился! Всех причастных поздравляю и жду в следующем семестре; там будет, конечно, ещё интереснее.
#spsu #lectures #bayes2025
СПбГУ — 2025.12.18 — Ядерные методы и метод релевантных векторов
(слайды, доска и код на странице курса)
Эквивалентное ядро — это очень простое замечание, которое сразу следует из выведенных нами когда-то формул для линейной регрессии: если их переписать в ядерной форме
В целом же ядерные методы — это когда мы представляем ответ как линейную комбинацию точек данных с коэффициентами, представляющими собой меру похожести в некотором пространстве признаков, то есть просто симметричную положительно определённую функцию от x, то самое ядро. Это большая отдельная наука, в которую я углубляться не буду, показал один пример, да и ладно.
А главным содержанием был метод релевантных векторов (relevance vector machines, RVM). Очень крутая идея, продолжающая эмпирический Байес: можно рассмотреть тот же ядерный метод как линейную регрессию, ввести в ней более детальное априорное распределение, чем обычно, с отдельными дисперсиями для каждого веса, и оптимизировать эти дисперсии эмпирическим Байесом. В итоге получится, что большинство дисперсий сходятся к нулю, что означает, что эти точки нам для предсказаний не нужны! Оставшиеся точки — те самые релевантные векторы, и их обычно получается куда меньше, чем у аналогичной SVM, а ещё и вероятности сами собой получаются на выходе, и мультиклассовая классификация делается без проблем... сказка, а не метод. Впрочем, есть и минусы: иногда он не сходится (точнее, не расходится) очень долго, и это не предскажешь заранее, а ещё Microsoft его запатентовала (в 2000 году, когда RVM появились), что тоже на его популярности сказалось не очень хорошо.
И на этом первый семестр закончился! Всех причастных поздравляю и жду в следующем семестре; там будет, конечно, ещё интереснее.
#spsu #lectures #bayes2025
❤16
Сегодня очень классная игра, но сугубо сюжетная, и без спойлеров там обсуждать практически нечего. Так что сделаем так — я сюда скопирую часть обзора без спойлеров, а главное, включая ссылки на две недавние статьи Дэвида Чалмерса, будет только на сайте:
Minds Beneath Us
О боже, какая игра. Это просто потрясающе.
Как, ну как у азиатских разработчиков раз за разом получается сделать по-настоящему глубокие произведения?.. Сюжет и мораль в Minds Beneath Us, пожалуй, на голову выше даже пресловутой Nier: Automata, которая мне когда-то очень понравилась и вместе с Outer Wilds вернула меня в большой гейминг. А в "западных" проектах даже и не знаю, с чем сравнить.
Думаю, секрет прост: они не отворачиваются от сложных вопросов. И не пытаются давать на них слишком простых ответов вроде "просто будь чутким к людям", "любовь победит всё" или "мы разные, но мы вместе", чем часто грешат западные студии. Нет, в этой игре тебе честно показывают несколько вариантов и признают: да, здесь действительно есть проблема, и да, её действительно можно решать по-разному, это неоднозначный этический вопрос, а не IQ-тест с правильным ответом. Я не знаю, почему у условно "западных" студий редко получается сделать то же самое, но факт: очень, очень редко.
Из других примеров, которые когда-то запали мне в душу, назову Until Then — ещё одну азиатскую инди-игру, от филиппинской студии Polychroma Games. [...] Но вернёмся к основной теме.
Minds Beneath Us — дебютный проект тайваньской инди-студии BearBone Studio. [...]
По жанру Minds Beneath Us — это нарративное приключение, почти визуальная новелла, только с небольшими элементами point-and-click квеста. Геймплей максимально простой: ходим влево-вправо по ограниченным локациям, разговариваем с персонажами, иногда в острых моментах прожимаем несложные QTE.
Есть и хорошо прорисованные мультипликационные вставки в важных местах (не совсем кат-сцены, обычно там диалог тоже есть, но они заметно отличаются от основного геймплея).
Фоны детализированы с большой любовью: камеры наблюдения следят за тобой, кошки спят на крышах, NPC на фоне живут своей жизнью — играют в гача-автоматы, курят, болтают. [...]
Главная геймплейная механика, разумеется, содержится в диалогах. В игре часто нужно делать выбор; иногда понятно, какой выбор "хороший", но далеко не всегда! Эти небольшие выборы вряд ли повлияют на глобальное развитие сюжета (разве что после титров, возможно, исход побочной ветки изменится), но это действительно круто сделанные повествовательные мини-загадки: они честные (догадаться, что ведёт к желаемому результату, можно), но непростые, да и желаемый результат у разных людей может быть разный.
Даже загружаться и переигрывать до победного не получается — результаты своего выбора ты частенько узнаёшь очень не скоро.
В общем, картинка приятная, киберпанк-стиль хороший, но в целом ничего особенного, не в этом сила игры. Сила — в повествовании, сюжете и мыслях…
[...]
Если вас не пугают около 15 часов чтения текста без озвучки, если вам нравятся истории о киберпанке, корпоративной антиутопии и вопросах сознания и идентичности — Minds Beneath Us однозначно заслуживает внимания. Это не просто игра — это произведение искусства, которое останется с вами надолго после финальных титров. Надеюсь, когда-нибудь и западные разработчики научатся делать что-то подобное.
=====
И напомню, что всё ещё принимаю рекомендации коротких игр на новогодние каникулы — спасибо всем откликнувшимся! Список уже очень внушительный получился, но такие рекомендации всегда нужны.)
#tgif #games
Minds Beneath Us
О боже, какая игра. Это просто потрясающе.
Как, ну как у азиатских разработчиков раз за разом получается сделать по-настоящему глубокие произведения?.. Сюжет и мораль в Minds Beneath Us, пожалуй, на голову выше даже пресловутой Nier: Automata, которая мне когда-то очень понравилась и вместе с Outer Wilds вернула меня в большой гейминг. А в "западных" проектах даже и не знаю, с чем сравнить.
Думаю, секрет прост: они не отворачиваются от сложных вопросов. И не пытаются давать на них слишком простых ответов вроде "просто будь чутким к людям", "любовь победит всё" или "мы разные, но мы вместе", чем часто грешат западные студии. Нет, в этой игре тебе честно показывают несколько вариантов и признают: да, здесь действительно есть проблема, и да, её действительно можно решать по-разному, это неоднозначный этический вопрос, а не IQ-тест с правильным ответом. Я не знаю, почему у условно "западных" студий редко получается сделать то же самое, но факт: очень, очень редко.
Из других примеров, которые когда-то запали мне в душу, назову Until Then — ещё одну азиатскую инди-игру, от филиппинской студии Polychroma Games. [...] Но вернёмся к основной теме.
Minds Beneath Us — дебютный проект тайваньской инди-студии BearBone Studio. [...]
По жанру Minds Beneath Us — это нарративное приключение, почти визуальная новелла, только с небольшими элементами point-and-click квеста. Геймплей максимально простой: ходим влево-вправо по ограниченным локациям, разговариваем с персонажами, иногда в острых моментах прожимаем несложные QTE.
Есть и хорошо прорисованные мультипликационные вставки в важных местах (не совсем кат-сцены, обычно там диалог тоже есть, но они заметно отличаются от основного геймплея).
Фоны детализированы с большой любовью: камеры наблюдения следят за тобой, кошки спят на крышах, NPC на фоне живут своей жизнью — играют в гача-автоматы, курят, болтают. [...]
Главная геймплейная механика, разумеется, содержится в диалогах. В игре часто нужно делать выбор; иногда понятно, какой выбор "хороший", но далеко не всегда! Эти небольшие выборы вряд ли повлияют на глобальное развитие сюжета (разве что после титров, возможно, исход побочной ветки изменится), но это действительно круто сделанные повествовательные мини-загадки: они честные (догадаться, что ведёт к желаемому результату, можно), но непростые, да и желаемый результат у разных людей может быть разный.
Даже загружаться и переигрывать до победного не получается — результаты своего выбора ты частенько узнаёшь очень не скоро.
В общем, картинка приятная, киберпанк-стиль хороший, но в целом ничего особенного, не в этом сила игры. Сила — в повествовании, сюжете и мыслях…
[...]
Если вас не пугают около 15 часов чтения текста без озвучки, если вам нравятся истории о киберпанке, корпоративной антиутопии и вопросах сознания и идентичности — Minds Beneath Us однозначно заслуживает внимания. Это не просто игра — это произведение искусства, которое останется с вами надолго после финальных титров. Надеюсь, когда-нибудь и западные разработчики научатся делать что-то подобное.
=====
И напомню, что всё ещё принимаю рекомендации коротких игр на новогодние каникулы — спасибо всем откликнувшимся! Список уже очень внушительный получился, но такие рекомендации всегда нужны.)
#tgif #games
❤11👍3🔥2
До сих пор не верится, что семестр заканчивается. Устал я за последние месяцы очень, думаю, надолго вперёд выгорел. Но вот и последняя лекция в курсе "Глубокое обучение":
СПбГУ — 2025.12.18 — Рассуждающие модели, LLM в науке, AI safety
(два набора слайдов на странице курса)
В целом эта заключительная лекция была подмножеством многочисленных докладов о том, как AI бороздит просторы Большого театра, которые я постоянно делаю. Сначала поговорил о рассуждающих моделях, о том, как это устроено; кстати, это очередная очень простая идея, которую нужно было "всего лишь" хорошо реализовать, и LLM сразу стали гораздо умнее. Потом — о последних новостях, здесь тоже не стал уже мудрствовать, а рассказал свой стандартный доклад об LLM в науке.
А потом переключился на слайды со своего весеннего доклада в CS Space и рассказал о том, откуда у сильного искусственного интеллекта экзистенциальные риски. Переписывать сайт под две презентации уж не буду, сливать в одну pdf слайды разного формата тоже странно, так что там слайды про AI safety скрыты под словом "Доска".
That's all, folks! Последняя лекция четырёхсеместрового курса (календарно трёх, но весной было по две лекции в неделю), всё выложено на сайте, всё доступно. Enjoy. :)
#spsu #lectures #dl2025
СПбГУ — 2025.12.18 — Рассуждающие модели, LLM в науке, AI safety
(два набора слайдов на странице курса)
В целом эта заключительная лекция была подмножеством многочисленных докладов о том, как AI бороздит просторы Большого театра, которые я постоянно делаю. Сначала поговорил о рассуждающих моделях, о том, как это устроено; кстати, это очередная очень простая идея, которую нужно было "всего лишь" хорошо реализовать, и LLM сразу стали гораздо умнее. Потом — о последних новостях, здесь тоже не стал уже мудрствовать, а рассказал свой стандартный доклад об LLM в науке.
А потом переключился на слайды со своего весеннего доклада в CS Space и рассказал о том, откуда у сильного искусственного интеллекта экзистенциальные риски. Переписывать сайт под две презентации уж не буду, сливать в одну pdf слайды разного формата тоже странно, так что там слайды про AI safety скрыты под словом "Доска".
That's all, folks! Последняя лекция четырёхсеместрового курса (календарно трёх, но весной было по две лекции в неделю), всё выложено на сайте, всё доступно. Enjoy. :)
#spsu #lectures #dl2025
❤35🎄14❤🔥7
Но и праздники всё-таки начинаются! Год назад прекрасная Ира @fuesis подарила мне бумажное издание Harry Potter and the Methods of Rationality, а теперь - главную книгу этого года!
Ещё не читал, но уже всем рекомендую.)
#books #lifestyle
Ещё не читал, но уже всем рекомендую.)
#books #lifestyle
🔥27😁7👍3🎄3🎅2🤮1💩1🤡1
На предновогодней неделе семинар лаборатории Маркова переезжает на 15:00 во вторник (!). Мы планировали продолжать разбор статей с NeurIPS, но вдруг оказалось, что в Россию приезжает и готов сделать доклад Саша Куликов!
Вряд ли кто-то сделал больше для Computer Science Club / CS Center и вообще популяризации информатики в Петербурге, чем Саша; да и не видел я его сто лет уже, а схемная сложность — это то, о чём была когда-то моя кандидатская диссертация.) Так что мы все очень рады, что приходится так всё переигрывать, а с NeurIPS можно и в 2026-м разобраться:
Булевы схемы: недавние результаты и открытые задачи
Александр Куликов (Neapolis University Pafos)
Ссылка на трансляцию (вторник 23 декабря, 15:00)
Булевы схемы представляют собой простую, естественную и выразительную модель вычислений, достаточно мощную, чтобы моделировать алгоритмы. Схемы имеют применения в таких областях компьютерных наук, как алгоритмы, теория сложности, криптография, формальная верификация, проектирование аппаратуры, машинное обучение, SAT-солверы.
Я расскажу про недавние результаты нашей группы в области синтеза схем и нижних оценок на размер схем и время работы алгоритмов. Отдельное внимание уделю открытым задачам и перспективным, на мой взгляд, направлениям для сотрудничества в этой области.
#spsu #seminar #markovlab
Вряд ли кто-то сделал больше для Computer Science Club / CS Center и вообще популяризации информатики в Петербурге, чем Саша; да и не видел я его сто лет уже, а схемная сложность — это то, о чём была когда-то моя кандидатская диссертация.) Так что мы все очень рады, что приходится так всё переигрывать, а с NeurIPS можно и в 2026-м разобраться:
Булевы схемы: недавние результаты и открытые задачи
Александр Куликов (Neapolis University Pafos)
Ссылка на трансляцию (вторник 23 декабря, 15:00)
Булевы схемы представляют собой простую, естественную и выразительную модель вычислений, достаточно мощную, чтобы моделировать алгоритмы. Схемы имеют применения в таких областях компьютерных наук, как алгоритмы, теория сложности, криптография, формальная верификация, проектирование аппаратуры, машинное обучение, SAT-солверы.
Я расскажу про недавние результаты нашей группы в области синтеза схем и нижних оценок на размер схем и время работы алгоритмов. Отдельное внимание уделю открытым задачам и перспективным, на мой взгляд, направлениям для сотрудничества в этой области.
#spsu #seminar #markovlab
❤20👍9❤🔥7
И последний курс тоже закончился. В последней лекции курса "Технологии и фронтиры науки о данных" в ЮФУ рассказал несколько простых, но любопытных сюжетов:
ЮФУ — 2025.12.18 — Наивный Байес, калибровка, ретроспективные исследования
(слайды и доска на странице курса)
Наивный Байес — это самая простая порождающая модель, которая может быть полезной. Конечно, не как порождающая — никто не писал наивным Байесом тексты даже в 1960-е — но получающийся из неё наивный байесовский классификатор действительно работает на удивление хорошо, учитывая силу его предположений.
Затем перешли к вспомогательным темам о классификаторах. Что произойдёт, если ваши классы окажутся несбалансированными? А как оценить качество вероятностей, которые выдаёт ваш классификатор? Здесь есть о чём поговорить.
И, наконец, последний сюжет я обычно в основном курсе рассказываю заметно позже, уже как подводку к одному из любопытных примеров применения EM-алгоритма. Но отдельно он тоже более чем имеет смысл: это рассказ о проспективных и ретроспективных исследованиях и о том, как логистический сигмоид удивительным образом может не париться по поводу того, что наша выборка в ретроспективном исследовании искусственна и несбалансирована.
И здесь тоже на этом всё. Кажется, следующий семестр в этом курсе тоже будет, и там я попробую порассказывать про нейросети. Про них можно рассказывать ещё проще, чем о вероятностных основах ML, так что думаю, что всем всё зайдёт. Слушателям спасибо за внимание и до новых встреч!
#sfu #lectures #dsfrontiers
ЮФУ — 2025.12.18 — Наивный Байес, калибровка, ретроспективные исследования
(слайды и доска на странице курса)
Наивный Байес — это самая простая порождающая модель, которая может быть полезной. Конечно, не как порождающая — никто не писал наивным Байесом тексты даже в 1960-е — но получающийся из неё наивный байесовский классификатор действительно работает на удивление хорошо, учитывая силу его предположений.
Затем перешли к вспомогательным темам о классификаторах. Что произойдёт, если ваши классы окажутся несбалансированными? А как оценить качество вероятностей, которые выдаёт ваш классификатор? Здесь есть о чём поговорить.
И, наконец, последний сюжет я обычно в основном курсе рассказываю заметно позже, уже как подводку к одному из любопытных примеров применения EM-алгоритма. Но отдельно он тоже более чем имеет смысл: это рассказ о проспективных и ретроспективных исследованиях и о том, как логистический сигмоид удивительным образом может не париться по поводу того, что наша выборка в ретроспективном исследовании искусственна и несбалансирована.
И здесь тоже на этом всё. Кажется, следующий семестр в этом курсе тоже будет, и там я попробую порассказывать про нейросети. Про них можно рассказывать ещё проще, чем о вероятностных основах ML, так что думаю, что всем всё зайдёт. Слушателям спасибо за внимание и до новых встреч!
#sfu #lectures #dsfrontiers
❤23👍7
Семинар сегодня был крутой и представительный! Все пришли, и даже больше, чем обычно означает слово "все".
А потом было празднование Нового года на факультете, где я провёл новогодний квиз. Его ещё буду отыгрывать несколько раз в ближайшие дни, но если хотите, могу потом выложить.)
#spsu #markovlab #seminar
А потом было празднование Нового года на факультете, где я провёл новогодний квиз. Его ещё буду отыгрывать несколько раз в ближайшие дни, но если хотите, могу потом выложить.)
#spsu #markovlab #seminar
❤27🔥10👍6❤🔥3
Тем временем выложил видео предыдущего доклада с семинара лаборатории Маркова. Филдсовский лауреат один из докладов делал, между прочим! Enjoy:
Разбор лучших статей NeurIPS 2025 — Часть I
(слайды на странице семинара)
Это были три небольших доклада про три из семи NeurIPS 2025 best papers:
— 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
— Superposition Yields Robust Neural Scaling
— Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
Подробно расписывать каждую статью не буду, отмечу только, что у Станислава Константиновича слайды были в другом формате, так что они там по ссылке "Доска" отдельно.
#spsu #seminar #markovlab
Разбор лучших статей NeurIPS 2025 — Часть I
(слайды на странице семинара)
Это были три небольших доклада про три из семи NeurIPS 2025 best papers:
— 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
— Superposition Yields Robust Neural Scaling
— Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
Подробно расписывать каждую статью не буду, отмечу только, что у Станислава Константиновича слайды были в другом формате, так что они там по ссылке "Доска" отдельно.
#spsu #seminar #markovlab
❤13