Четверги — главный источник контента. Например, продолжается курс "Основы байесовского вывода":
СПбГУ — 2025.10.02 — Введение в классификацию
(слайды и доска, как всегда, на странице курса)
Начали с постановки задачи классификации. Здесь важно поговорить о геометрии происходящего; например, как правильно определить линейную разделяющую поверхность для трёх классов? Это не такой очевидный вопрос. Дальше я, как обычно в своих курсах, рассказал про линейный дискриминант Фишера: он, конечно, сам по себе как метод классификации вряд ли кому-то нужен, но он тоже даёт ключевую геометрическую интуицию: классификация — это о том, как найти правильное одномерное направление для проекции данных.
А затем перешли к порождающим моделям: если они есть, то автоматически есть и оптимальный байесовский классификатор. Гауссовский пример здесь называется квадратичным дискриминантным анализом (QDA), или линейным (LDA), если предположить одинаковые матрицы ковариаций. А закончил я на идее логистической регрессии, о которой будем подробно говорить в следующий раз.
#spsu #lectures #bayes2025
СПбГУ — 2025.10.02 — Введение в классификацию
(слайды и доска, как всегда, на странице курса)
Начали с постановки задачи классификации. Здесь важно поговорить о геометрии происходящего; например, как правильно определить линейную разделяющую поверхность для трёх классов? Это не такой очевидный вопрос. Дальше я, как обычно в своих курсах, рассказал про линейный дискриминант Фишера: он, конечно, сам по себе как метод классификации вряд ли кому-то нужен, но он тоже даёт ключевую геометрическую интуицию: классификация — это о том, как найти правильное одномерное направление для проекции данных.
А затем перешли к порождающим моделям: если они есть, то автоматически есть и оптимальный байесовский классификатор. Гауссовский пример здесь называется квадратичным дискриминантным анализом (QDA), или линейным (LDA), если предположить одинаковые матрицы ковариаций. А закончил я на идее логистической регрессии, о которой будем подробно говорить в следующий раз.
#spsu #lectures #bayes2025
❤18👍10
Как вы знаете, я очень люблю тему "AI в науке и к чему уже учёным пора готовиться". Только что делал доклад на эту тему на PCA 2025, завтра тоже буду об этом рассказывать, и буквально за последние две недели писал два поста, про математику и про новую систему DeepMind ("А теперь побей все бенчмарки"). И вот на семинаре тоже эта тема возникла — к нам приезжает Александр Панов из AIRI. Посмотрим, что думают коллеги из Москвы; возможно, тут как раз возникнет интересное обсуждение!
AI Scientist — большой вызов для современных универсальных систем искусственного интеллекта
Александр Панов
Head of Cognitive AI Systems laboratory at AIRI
Head of the Center for Cognitive Modeling at MIPT
Ссылка на трансляцию (среда 8 октября, 14:00)
В докладе обсудим задачу автоматизации научных исследований, применение в ней больших языковых и мультимодальных моделей. Поговорим о современных ИИ-инструментах, используемых в научных исследованиях. Отметим ключевые научных проблемы на пути создания ИИ-исследователя. Обсудим проект создания робототехнического агента-исследователя в задачах автоматизации процессов в химических лабораториях.
#markovlab #seminar #spsu
AI Scientist — большой вызов для современных универсальных систем искусственного интеллекта
Александр Панов
Head of Cognitive AI Systems laboratory at AIRI
Head of the Center for Cognitive Modeling at MIPT
Ссылка на трансляцию (среда 8 октября, 14:00)
В докладе обсудим задачу автоматизации научных исследований, применение в ней больших языковых и мультимодальных моделей. Поговорим о современных ИИ-инструментах, используемых в научных исследованиях. Отметим ключевые научных проблемы на пути создания ИИ-исследователя. Обсудим проект создания робототехнического агента-исследователя в задачах автоматизации процессов в химических лабораториях.
#markovlab #seminar #spsu
❤18🔥6👍1
Завтра уже следующий доклад на семинаре лаборатории Маркова, но вот вам пока предыдущий:
Семинар Markov Lab — 2025.10.01—- RL для дообучения LLM
(Слайды на странице семинара)
Кирилл Тыщук в этом докладе дал обзор современных RL-алгоритмов (в основном из класса policy gradient, конечно), которые используются для дообучения LLM: PPO, DPO, GRPO и другие далее по списку. Фактически это была отличная обучающая лекция, так что ей особенно рад поделиться.
Надеюсь, удастся заманить Кирилла прочитать такую гостевую лекцию и в моём курсе deep learning на МКН.) Там как раз времени в этом семестре наконец-то стало побольше, и для этого есть все возможности.
#markovlab #seminar #spsu
Семинар Markov Lab — 2025.10.01—- RL для дообучения LLM
(Слайды на странице семинара)
Кирилл Тыщук в этом докладе дал обзор современных RL-алгоритмов (в основном из класса policy gradient, конечно), которые используются для дообучения LLM: PPO, DPO, GRPO и другие далее по списку. Фактически это была отличная обучающая лекция, так что ей особенно рад поделиться.
Надеюсь, удастся заманить Кирилла прочитать такую гостевую лекцию и в моём курсе deep learning на МКН.) Там как раз времени в этом семестре наконец-то стало побольше, и для этого есть все возможности.
#markovlab #seminar #spsu
🔥20❤7
А в курсе глубокого обучения в прошлый четверг обсуждали механизмы внимания:
СПбГУ — 2025.10.02 — Состязательные примеры и механизмы внимания
(слайды и доска на странице курса)
Начали с состязательных примеров — ну тех самых, которые из панды делают гиббона, рояль или что угодно другое маленьким шумом.
А потом перешли к понятию внимания; это очень интересная штука и с точки зрения нейробиологии (хотя там я мало что понимаю), и, как выясняется, с точки зрения искусственных нейросетей. Начали с первых работ о внимании (Larochelle, Hinton, 2010, например), потом обсудили рекуррентные модели внимания и где там возникает RL, а потом перешли к уже более современным архитектурам: encoder-decoder with attention вроде Show, Attend, and Tell.
В этот раз до self-attention не дошли, но на следующей лекции отступать будет уже некуда, будем о трансформерах говорить.)
#spsu #lectures #dl2025
СПбГУ — 2025.10.02 — Состязательные примеры и механизмы внимания
(слайды и доска на странице курса)
Начали с состязательных примеров — ну тех самых, которые из панды делают гиббона, рояль или что угодно другое маленьким шумом.
А потом перешли к понятию внимания; это очень интересная штука и с точки зрения нейробиологии (хотя там я мало что понимаю), и, как выясняется, с точки зрения искусственных нейросетей. Начали с первых работ о внимании (Larochelle, Hinton, 2010, например), потом обсудили рекуррентные модели внимания и где там возникает RL, а потом перешли к уже более современным архитектурам: encoder-decoder with attention вроде Show, Attend, and Tell.
В этот раз до self-attention не дошли, но на следующей лекции отступать будет уже некуда, будем о трансформерах говорить.)
#spsu #lectures #dl2025
👍16
Семинар сегодня был, кстати, огненный. Кто не пришёл, ждите, пока выложу — я вторую половину доклада прямо на иголках сидел и ждал окончания, чтобы высказаться, и, конечно, не отказал себе потом в этом удовольствии. :)
Разумеется, всё было in good faith, и на второй фотографии мы с Александром Пановым торжественно пожимаем друг другу руки. Или заключаем пари о том, когда появятся AI-Эйнштейны, как знать. В любом случае, как видите, я даже надел специальную толстовку в честь гостя из AIRI.)
Спасибо большое Саше, что приехал! Если вдруг вы AI-исследователь и тоже что-то интересное (а ещё лучше острое! :) ) хотите рассказать на нашем семинаре, пишите мне, а то иначе мы скоро начнём таки в математику углубляться.
#markovlab #seminar #spsu
Разумеется, всё было in good faith, и на второй фотографии мы с Александром Пановым торжественно пожимаем друг другу руки. Или заключаем пари о том, когда появятся AI-Эйнштейны, как знать. В любом случае, как видите, я даже надел специальную толстовку в честь гостя из AIRI.)
Спасибо большое Саше, что приехал! Если вдруг вы AI-исследователь и тоже что-то интересное (а ещё лучше острое! :) ) хотите рассказать на нашем семинаре, пишите мне, а то иначе мы скоро начнём таки в математику углубляться.
#markovlab #seminar #spsu
❤38🔥7
Сегодня в курсе "Основы байесовского вывода" мы закончили разговор о логистической регрессии:
СПбГУ — 2025.10.09 — Байесовский вывод в логистической регрессии
(слайды и доска, как всегда, на странице курса)
Логистическая регрессия — это главная модель для классификации. Революция deep learning её лидерство только упрочила: как все вы знаете, любая нейросеть, решающая задачу классификации (то есть подавляющее большинство нейросетей), заканчивается на слое softmax, то есть на логистической регрессии. Вся остальная модель нужна для того, чтобы извлечь хорошие признаки для этой логистической регрессии.
Так что важно понимать, что это такое и как работает. Мы начали с основных предположений и мультиклассового случая (тот самый softmax), затем записали правдоподобие и стали его максимизировать. Там оказалось, что можно и метод второго порядка записать, и мы пришли к алгоритму IRLS. А кульминацией байесовского вывода стало, конечно, предсказательное распределение; я на лекции полностью все полные квадраты уже не выделял, но рассказал все главные идеи вывода, по которым заполнить пробелы уже несложно.
На этом разговор о двух основных моделях машинного обучения закончился; дальше будут две-три лекции про общие сюжеты, важные для всего ML, а там посмотрим.
#spsu #lectures #bayes2025
СПбГУ — 2025.10.09 — Байесовский вывод в логистической регрессии
(слайды и доска, как всегда, на странице курса)
Логистическая регрессия — это главная модель для классификации. Революция deep learning её лидерство только упрочила: как все вы знаете, любая нейросеть, решающая задачу классификации (то есть подавляющее большинство нейросетей), заканчивается на слое softmax, то есть на логистической регрессии. Вся остальная модель нужна для того, чтобы извлечь хорошие признаки для этой логистической регрессии.
Так что важно понимать, что это такое и как работает. Мы начали с основных предположений и мультиклассового случая (тот самый softmax), затем записали правдоподобие и стали его максимизировать. Там оказалось, что можно и метод второго порядка записать, и мы пришли к алгоритму IRLS. А кульминацией байесовского вывода стало, конечно, предсказательное распределение; я на лекции полностью все полные квадраты уже не выделял, но рассказал все главные идеи вывода, по которым заполнить пробелы уже несложно.
На этом разговор о двух основных моделях машинного обучения закончился; дальше будут две-три лекции про общие сюжеты, важные для всего ML, а там посмотрим.
#spsu #lectures #bayes2025
❤16👍2
Мой канал взял новую высоту — 3000 подписчиков! Для уютного канальчика, который не репостит новости, а делится только моим личным контентом, это, думаю, не так мало. Я точно знаю, что принесло последнюю сотню, и расскажу вам об этом буквально на днях (ещё один источник контента, ага), но не сегодня: не будем отходить о традиций.
В честь новой круглой цифры достаю из архива одно из самых ярких игровых впечатлений прошлого года. Как всегда, полный пост со всеми картинками по ссылке; пост сегодня и впрямь юбилейный, так что сокращения особенно сильны (отмечаю их [...]), и очень рекомендую читать на сайте:
INDIKA
Вряд ли вы могли не слышать об INDIKA; о ней в прошлом году писал даже The Guardian, не говоря уж об игровых изданиях. Однако вы могли случайно пройти мимо, и тем самым совершить большую ошибку. Попробую вас убедить в том, что эту ошибку, если уж она произошла, срочно пора исправлять.
INDIKA — отличный пример игры, где художественная идея и форма оказываются прекрасно согласованными. По форме это короткое (около 4-5 часов) путешествие монахини через альтернативную Россию рубежа XIX-XX веков. Монахиня сомневается в христианской вере, и её внутренний монолог — это не монолог, а спор веры, разума и искушения. Её попутчик и постоянный собеседник — сам дьявол. По жанру это 3D-приключение с упором на историю и головоломки; они не слишком головоломные, и на самом деле игра ближе к симулятору ходьбы, но с важными отклонениями и резкими сменами жанров. INDIKA действительно можно пройти за один-два вечера, и это будут прекрасные вечера. [...]
Главная героиня — монахиня по имени Индика, которая буквально одержима бесами, и в монастыре собственно изначально пытается как-то справиться с этой проблемой. Но одержима не так реалистично-шизофренически, как в Hellblade: в основном Индика разговаривает со звучащим у неё в голове голосом дьявола. Дьявол в игре часто служит голосом здравого смысла, который по чисто случайному совпадению всё время оказывается антирелигиозным — точнее, антиортодоксальным. [...]
Впрочем, потом одержимость героини начнёт выплёскиваться и в окружающий мир. Он вообще хоть и реалистичный, но с элементами стимпанка, странными механизмами в православных храмах и неправдоподобными мелочами вроде рыбы в человеческий рост. Но иногда у Индики взгляд на мир меняется совсем, гм, радикально, и это одна из механик, используемых в головоломках. А ещё время от времени, обычно в воспоминаниях героини, внешний вид меняется на пиксельное 2D, и Индика участвует в разных мини-играх в стиле NES; это разнообразит происходящее, да и смысл кое-какой в этом имеется. [...]
Сюжет развивается параллельно с диалогами с дьяволом, который постоянно старается даже не заронить в душу Индики сомнение, а довести до логического конца сомнения, уже давно имеющиеся. Он подсвечивает лицемерие церкви, постоянное несоответствие реальности и деклараций, внутренние противоречия в религиозных лозунгах и так далее. [...] Но лично мне показалось, что рассуждения в игре слишком карикатурны, и если бы их сделали глубже и более серьёзными, это бы игру очень украсило. Но и так неплохо вышло! [...]
Игры, в которых есть перевод на русский язык, встречаются повсеместно. Игры, в которых есть русскоязычная озвучка — более редкий случай, но тоже ничего удивительного. Но в подавляющем большинстве случаев ни тексты, ни тем более звук на русском языке лучше не трогать; они бывают сделаны откровенно плохо даже в тех случаях, когда разрабатывала игру русскоязычная студия.
Indika — тот редкий случай, когда я настоятельно рекомендую играть именно на русском языке! [...] Главным образом ради дьявола, которого озвучивал сам Ефим Шифрин. И явно вложил в это дело душу — дьявол получился восхитительный; все интонации на месте, блестящая работа. Кстати, актёрская игра Индики (озвучивала Анастасия Дьячук) лично мне тоже очень понравилась, но все обзоры, конечно, всегда на первый план выставляют Шифрина. [...]
Indika — это игра, которая даёт уникальный опыт и действительно показывает, что игры — это искусство. Не пропускайте.
#games #tgif
В честь новой круглой цифры достаю из архива одно из самых ярких игровых впечатлений прошлого года. Как всегда, полный пост со всеми картинками по ссылке; пост сегодня и впрямь юбилейный, так что сокращения особенно сильны (отмечаю их [...]), и очень рекомендую читать на сайте:
INDIKA
Вряд ли вы могли не слышать об INDIKA; о ней в прошлом году писал даже The Guardian, не говоря уж об игровых изданиях. Однако вы могли случайно пройти мимо, и тем самым совершить большую ошибку. Попробую вас убедить в том, что эту ошибку, если уж она произошла, срочно пора исправлять.
INDIKA — отличный пример игры, где художественная идея и форма оказываются прекрасно согласованными. По форме это короткое (около 4-5 часов) путешествие монахини через альтернативную Россию рубежа XIX-XX веков. Монахиня сомневается в христианской вере, и её внутренний монолог — это не монолог, а спор веры, разума и искушения. Её попутчик и постоянный собеседник — сам дьявол. По жанру это 3D-приключение с упором на историю и головоломки; они не слишком головоломные, и на самом деле игра ближе к симулятору ходьбы, но с важными отклонениями и резкими сменами жанров. INDIKA действительно можно пройти за один-два вечера, и это будут прекрасные вечера. [...]
Главная героиня — монахиня по имени Индика, которая буквально одержима бесами, и в монастыре собственно изначально пытается как-то справиться с этой проблемой. Но одержима не так реалистично-шизофренически, как в Hellblade: в основном Индика разговаривает со звучащим у неё в голове голосом дьявола. Дьявол в игре часто служит голосом здравого смысла, который по чисто случайному совпадению всё время оказывается антирелигиозным — точнее, антиортодоксальным. [...]
Впрочем, потом одержимость героини начнёт выплёскиваться и в окружающий мир. Он вообще хоть и реалистичный, но с элементами стимпанка, странными механизмами в православных храмах и неправдоподобными мелочами вроде рыбы в человеческий рост. Но иногда у Индики взгляд на мир меняется совсем, гм, радикально, и это одна из механик, используемых в головоломках. А ещё время от времени, обычно в воспоминаниях героини, внешний вид меняется на пиксельное 2D, и Индика участвует в разных мини-играх в стиле NES; это разнообразит происходящее, да и смысл кое-какой в этом имеется. [...]
Сюжет развивается параллельно с диалогами с дьяволом, который постоянно старается даже не заронить в душу Индики сомнение, а довести до логического конца сомнения, уже давно имеющиеся. Он подсвечивает лицемерие церкви, постоянное несоответствие реальности и деклараций, внутренние противоречия в религиозных лозунгах и так далее. [...] Но лично мне показалось, что рассуждения в игре слишком карикатурны, и если бы их сделали глубже и более серьёзными, это бы игру очень украсило. Но и так неплохо вышло! [...]
Игры, в которых есть перевод на русский язык, встречаются повсеместно. Игры, в которых есть русскоязычная озвучка — более редкий случай, но тоже ничего удивительного. Но в подавляющем большинстве случаев ни тексты, ни тем более звук на русском языке лучше не трогать; они бывают сделаны откровенно плохо даже в тех случаях, когда разрабатывала игру русскоязычная студия.
Indika — тот редкий случай, когда я настоятельно рекомендую играть именно на русском языке! [...] Главным образом ради дьявола, которого озвучивал сам Ефим Шифрин. И явно вложил в это дело душу — дьявол получился восхитительный; все интонации на месте, блестящая работа. Кстати, актёрская игра Индики (озвучивала Анастасия Дьячук) лично мне тоже очень понравилась, но все обзоры, конечно, всегда на первый план выставляют Шифрина. [...]
Indika — это игра, которая даёт уникальный опыт и действительно показывает, что игры — это искусство. Не пропускайте.
#games #tgif
❤🔥24❤12👍8🥴2😁1
Какие у меня всё-таки невероятные друзья. Пришёл на какой-то странный квиз, а там...) Инна, Ира, спасибо вам!! ❤️
#lifestyle
#lifestyle
🔥91❤25😁10👍1
Прошедшую в четверг лекцию курса "Глубокое обучение" долго представлять не надо:
СПбГУ — 2025.10.09 — Self-attention и архитектура трансформера
(слайды и доска на странице курса)
Трансформер — буквально самая главная архитектура нейросетей практически с самого своего появления в 2017 году. В Google Scholar у статьи "Attention is All You Need" уже почти двести тысяч цитирований; это не абсолютный рекорд (есть статьи с сотнями тысяч цитирований про стандартные экспериментальные методы, которые везде потом применялись), но наверняка рекорд за прошедшие неполные восемь лет, и влияние трансформеров в 2025 пока не ослабевает.
В лекции я постарался максимально подробно и не торопясь обсудить всё, что можно было обсудить о самовнимании и архитектуре трансформера: от абстрактно-мотивационной идеи self-attention, приходящей из информационного поиска, до токенизации и позиционных вложений. Многое из того, что будет дальше, — это применения и развития идей этой лекции, так что пропускать её стоит только если вы и так уже всё это хорошо знаете.
#spsu #lectures #dl2025
СПбГУ — 2025.10.09 — Self-attention и архитектура трансформера
(слайды и доска на странице курса)
Трансформер — буквально самая главная архитектура нейросетей практически с самого своего появления в 2017 году. В Google Scholar у статьи "Attention is All You Need" уже почти двести тысяч цитирований; это не абсолютный рекорд (есть статьи с сотнями тысяч цитирований про стандартные экспериментальные методы, которые везде потом применялись), но наверняка рекорд за прошедшие неполные восемь лет, и влияние трансформеров в 2025 пока не ослабевает.
В лекции я постарался максимально подробно и не торопясь обсудить всё, что можно было обсудить о самовнимании и архитектуре трансформера: от абстрактно-мотивационной идеи self-attention, приходящей из информационного поиска, до токенизации и позиционных вложений. Многое из того, что будет дальше, — это применения и развития идей этой лекции, так что пропускать её стоит только если вы и так уже всё это хорошо знаете.
#spsu #lectures #dl2025
👍14❤10
Начинаю уже запутываться в контенте; столько всего происходит, что даже взятый мной темп по одному посту в день начинает трещать по швам. Тем не менее пока попробую оставаться в этом ритме, и сегодня выберу доклад, публикации которого жду не только я, но и его автор, Александр Панов:
Семинар Markov Lab — 2025.10.08 — AI Scientist
(Слайды на странице семинара)
Александр дал обзор того, как сейчас работают AI-системы, помогающие в научных исследованиях, рассказал о том, что об этом думает его лаборатория в AIRI и в каком направлении она работает. Главная мысль, которую он проводил (насколько я понял), была в том, что успешный AI scientist должен быть в каком-то смысле embodied, то есть должен получить другие модальности непосредственного опыта, не только токены текста и картинок/видео.
Как мне кажется, весьма интересной была и дискуссия после доклада. Мои читатели знают, что AI scientist'ы разного рода — это моя любимая тема, и в этом отношении я настроен очень... хм, хотел сказать "оптимистично", но не уверен, что это правильное слово.) В общем, верю я в AI scientist'ов, и даже в то, что для существенной трансформации всего научного поиска новых мегапрорывов до "AI-Эйнштейнов" совершенно не требуется; на днях выложу ещё один свой недавний доклад об этом, кстати.
Так что поспорили мы знатно; надеюсь, разошлись всё-таки друзьями. :)
#markovlab #seminar #spsu
Семинар Markov Lab — 2025.10.08 — AI Scientist
(Слайды на странице семинара)
Александр дал обзор того, как сейчас работают AI-системы, помогающие в научных исследованиях, рассказал о том, что об этом думает его лаборатория в AIRI и в каком направлении она работает. Главная мысль, которую он проводил (насколько я понял), была в том, что успешный AI scientist должен быть в каком-то смысле embodied, то есть должен получить другие модальности непосредственного опыта, не только токены текста и картинок/видео.
Как мне кажется, весьма интересной была и дискуссия после доклада. Мои читатели знают, что AI scientist'ы разного рода — это моя любимая тема, и в этом отношении я настроен очень... хм, хотел сказать "оптимистично", но не уверен, что это правильное слово.) В общем, верю я в AI scientist'ов, и даже в то, что для существенной трансформации всего научного поиска новых мегапрорывов до "AI-Эйнштейнов" совершенно не требуется; на днях выложу ещё один свой недавний доклад об этом, кстати.
Так что поспорили мы знатно; надеюсь, разошлись всё-таки друзьями. :)
#markovlab #seminar #spsu
🔥18❤10😁2