В четверг в курсе "Глубокое обучение" поговорили о flow-based models:
СПбГУ — 2025.11.27 — Модели, основанные на потоках
(слайды и доска на странице курса)
Смысл потоковых моделей очень похож на диффузионные: мы тоже строим композицию большого числа относительно простых преобразований, которая сможет выразить что-то очень сложное, начиная с чего-то простого вроде стандартного гауссиана. Собственно, основная идея flow-based models очень проста: можно подсчитать логарифм правдоподобия для распределения, получающегося в результате композиции. Но в этой функции ошибки появляются определители якобианов (матриц первых производных) всех появляющихся по ходу дела распределений.
Так что чтобы потоковая модель реально работала, нужно, чтобы определители было легко подсчитать; как правило, это значит, что якобианы должны быть треугольные, то есть модель по сути в каком-то смысле авторегрессивна: конкретный элемент зависит только от предыдущих.
И здесь возникает любопытная дуальность: авторегрессивность может быть при применении модели (on inference, как, например, в языковых моделях), и тогда обучать их можно параллельно, а может быть, наоборот, при обучении, и тогда порождение становится быстрым и легко параллелизуемым. Кажется, что второй тип моделей не имеет смысла, потому что их обучить на практике будет невозможно... но нет, оказывается, что можно придумать специальный трюк под названием параллельная дистилляция (parallel distillation) и таки обучить "обратную" модель (IAF) на основе "прямой" (MAF). Так в своё время получилось параллелизовать WaveNet, получив 500х скорости порождения без потери качества.
#spsu #lectures #dl2025
СПбГУ — 2025.11.27 — Модели, основанные на потоках
(слайды и доска на странице курса)
Смысл потоковых моделей очень похож на диффузионные: мы тоже строим композицию большого числа относительно простых преобразований, которая сможет выразить что-то очень сложное, начиная с чего-то простого вроде стандартного гауссиана. Собственно, основная идея flow-based models очень проста: можно подсчитать логарифм правдоподобия для распределения, получающегося в результате композиции. Но в этой функции ошибки появляются определители якобианов (матриц первых производных) всех появляющихся по ходу дела распределений.
Так что чтобы потоковая модель реально работала, нужно, чтобы определители было легко подсчитать; как правило, это значит, что якобианы должны быть треугольные, то есть модель по сути в каком-то смысле авторегрессивна: конкретный элемент зависит только от предыдущих.
И здесь возникает любопытная дуальность: авторегрессивность может быть при применении модели (on inference, как, например, в языковых моделях), и тогда обучать их можно параллельно, а может быть, наоборот, при обучении, и тогда порождение становится быстрым и легко параллелизуемым. Кажется, что второй тип моделей не имеет смысла, потому что их обучить на практике будет невозможно... но нет, оказывается, что можно придумать специальный трюк под названием параллельная дистилляция (parallel distillation) и таки обучить "обратную" модель (IAF) на основе "прямой" (MAF). Так в своё время получилось параллелизовать WaveNet, получив 500х скорости порождения без потери качества.
#spsu #lectures #dl2025
❤12🔥7👍3
Наш семинар лаборатории Маркова, кажется, добрался до важной вехи: следующий докладчик не просто придёт очно выступить, а приедет из Москвы в специальную командировку, чтобы выступить на нашем семинаре! Такого раньше не бывало.
Сам доклад тоже наверняка будет крутой. Говорю с уверенностью, потому что я уже до некоторой степени знаю, о чём пойдёт речь, — мы с Артёмом познакомились потому, что я был у него рецензентом на защите пару недель назад, и доклад будет как раз о его диссертации. Подключайтесь!
Оценка неопределённости в NLP: от классификации к большим языковым моделям
Артём Важенцев (Сколтех)
Ссылка на трансляцию (среда 3 декабря, 14:00)
Оценка неопределённости (UQ) является важным инструментом повышения надёжности систем обработки естественного языка — от классификации текстов до порождения ответов большими языковыми моделями. Она позволяет снижать риск критических ошибок, выявлять неоднозначные случаи и обнаруживать галлюцинации при порождении текста.
Несмотря на быстрый прогресс в этой области, существующие подходы часто оказываются нестабильными на сложных и неоднозначных данных и плохо переносятся с задач классификации на авторегрессионные языковые модели. В докладе обсуждаются ключевые вызовы оценки неопределённости в NLP. Для задач текстовой классификации рассматриваются как базовые, так и state-of-the-art методы, направленные на повышение надёжности выборочной классификации. Для задач порождения текста большими языковыми моделями рассматриваются современные методы оценки неопределённости, а также анализируется роль attention механизма в выявлении галлюцинаций и низкокачественных ответов.
#spsu #seminar #markovlab
Сам доклад тоже наверняка будет крутой. Говорю с уверенностью, потому что я уже до некоторой степени знаю, о чём пойдёт речь, — мы с Артёмом познакомились потому, что я был у него рецензентом на защите пару недель назад, и доклад будет как раз о его диссертации. Подключайтесь!
Оценка неопределённости в NLP: от классификации к большим языковым моделям
Артём Важенцев (Сколтех)
Ссылка на трансляцию (среда 3 декабря, 14:00)
Оценка неопределённости (UQ) является важным инструментом повышения надёжности систем обработки естественного языка — от классификации текстов до порождения ответов большими языковыми моделями. Она позволяет снижать риск критических ошибок, выявлять неоднозначные случаи и обнаруживать галлюцинации при порождении текста.
Несмотря на быстрый прогресс в этой области, существующие подходы часто оказываются нестабильными на сложных и неоднозначных данных и плохо переносятся с задач классификации на авторегрессионные языковые модели. В докладе обсуждаются ключевые вызовы оценки неопределённости в NLP. Для задач текстовой классификации рассматриваются как базовые, так и state-of-the-art методы, направленные на повышение надёжности выборочной классификации. Для задач порождения текста большими языковыми моделями рассматриваются современные методы оценки неопределённости, а также анализируется роль attention механизма в выявлении галлюцинаций и низкокачественных ответов.
#spsu #seminar #markovlab
❤17🔥11
В прошлую среду выступал на конференции "ИИ и математика", которую организовывал наш Центр ИИ СПбГУ. Это был день, посвящённый образованию, и меня попросили выступить с необычным докладом, совсем не научным. Вот, смонтировал выступление, видео уж какое с ноутбука получилось, а звук вроде хорошо записался:
ИИ и математика — 2025.11.26 — Мой курс машинного обучения: история, принципы и опыт
(слайды на странице "Выступления")
Начал с романтической истории о том, как всё начиналось в первый год существования Computer Science Club'а (возможно, в моей памяти она уже видоизменилась после нескольких пересказов), а потом дошёл до современного состояния курса, в котором уже давно четыре семестра, около 60 лекций. Рассказал подробно о его структуре, а закончил основными принципами — math first!
Думаю, что интересно получилось, на аудиторию пошире, чем обычно; да и совсем коротенький был доклад, на полчаса, так что если интересно, попробуйте послушать.
#talks #events #spsu
ИИ и математика — 2025.11.26 — Мой курс машинного обучения: история, принципы и опыт
(слайды на странице "Выступления")
Начал с романтической истории о том, как всё начиналось в первый год существования Computer Science Club'а (возможно, в моей памяти она уже видоизменилась после нескольких пересказов), а потом дошёл до современного состояния курса, в котором уже давно четыре семестра, около 60 лекций. Рассказал подробно о его структуре, а закончил основными принципами — math first!
Думаю, что интересно получилось, на аудиторию пошире, чем обычно; да и совсем коротенький был доклад, на полчаса, так что если интересно, попробуйте послушать.
#talks #events #spsu
🔥16❤10👍4🤩3
Выложил видео доклада Максима Николаева с семинара лаборатории Маркова:
BART
(Слайды на странице семинара)
Максим рассказывал с самого начала, от того, что такое вообще деревья принятия решений, а потом объяснил и суть байесовского подхода для деревьев, и конкретные алгоритмы, и даже общий смысл алгоритма Метрополиса-Гастингса и его важного частного случая, сэмплирования по Гиббсу.
Присоединяйтесь завтра, должно быть тоже очень интересно!
#spsu #seminar #markovlab
BART
(Слайды на странице семинара)
Максим рассказывал с самого начала, от того, что такое вообще деревья принятия решений, а потом объяснил и суть байесовского подхода для деревьев, и конкретные алгоритмы, и даже общий смысл алгоритма Метрополиса-Гастингса и его важного частного случая, сэмплирования по Гиббсу.
Присоединяйтесь завтра, должно быть тоже очень интересно!
#spsu #seminar #markovlab
🔥13❤1👍1
Давно уже в этом бизнесе, и AlexNet, и ChatGPT пережил, ан ведь всё равно ещё удивляют новые возможности иногда.
Как вы наверняка слышали, недавно вышла Gemini 3 Pro; ну и с гугловской text-to-image моделью Nano Banana она теперь тоже работает, как я понимаю.
И это, чёрт возьми, реально next level. Вот картинка про мою предыдущую лекцию в курсе "Глубокое обучение". Полную версию можно скачать по ссылке, там весь текст на самом деле чёткий и читаемый, 5Mb png.
Всё это порождено за считанные секунды, причём без слайдов лекции, по вот такому абстрактному запросу:
please generate a detailed infographic for a lecture on flow-based models that starts with the basic idea and goes through RealNVP, MAF, IAF, and Parallel Wavenet; show all the main ideas, don't be afraid of formulas, but also be creative in the imagery; please write in Russian in the captions
Почему-то именно порождение сложных картинок сильнее всего на меня воздействует эмоционально. Но доказать теорему тоже надо будет попросить.
#news #ai
Как вы наверняка слышали, недавно вышла Gemini 3 Pro; ну и с гугловской text-to-image моделью Nano Banana она теперь тоже работает, как я понимаю.
И это, чёрт возьми, реально next level. Вот картинка про мою предыдущую лекцию в курсе "Глубокое обучение". Полную версию можно скачать по ссылке, там весь текст на самом деле чёткий и читаемый, 5Mb png.
Всё это порождено за считанные секунды, причём без слайдов лекции, по вот такому абстрактному запросу:
please generate a detailed infographic for a lecture on flow-based models that starts with the basic idea and goes through RealNVP, MAF, IAF, and Parallel Wavenet; show all the main ideas, don't be afraid of formulas, but also be creative in the imagery; please write in Russian in the captions
Почему-то именно порождение сложных картинок сильнее всего на меня воздействует эмоционально. Но доказать теорему тоже надо будет попросить.
#news #ai
🔥49❤6
В курсе "Технологии и фронтиры науки о данных" в ЮФУ в прошлый четверг была лекция из двух частей:
ЮФУ — 2025.11.27 — Пример с COVID и основы классификации
(слайды, доска и код на странице курса)
Сначала я вспомнил интересный пример про ковид, который показывал с 2021 года (и в книге тоже описывал), но в последние годы как-то в основном курсе не хватало на него времени. Пример на основе статьи, которую, насколько я понимаю, реально использовали для принятия решений на раннем этапе развития эпидемии.
По сути там сначала получается интересный пример выделения признаков и преобразований для того, чтобы обучить сигмоидальную кривую линейной регрессией, а потом ещё более интересное подтверждение того, что всё это на самом деле ничего не даёт, ведь даже при выполнении всех предположений модели (что в реальности, конечно, не так) дисперсия предсказаний получается очень большая.
А потом мы перешли к задачам классификации. В основном я пытался донести геометрический смысл происходящего: как выглядят линейные разделяющие поверхности (для нескольких классов это нетривиальный вопрос), почему линейная классификация — это поиск хорошего направления для проекции, какие там подводные камни (на примере линейного дискриминанта Фишера) и так далее.
Рассказал и о том, что из порождающих моделей сразу следует оптимальный байесовский классификатор, показал это на примере гауссианов (LDA и QDA). Дальше на очереди логистическая регрессия.
#sfu #lectures #dsfrontiers
ЮФУ — 2025.11.27 — Пример с COVID и основы классификации
(слайды, доска и код на странице курса)
Сначала я вспомнил интересный пример про ковид, который показывал с 2021 года (и в книге тоже описывал), но в последние годы как-то в основном курсе не хватало на него времени. Пример на основе статьи, которую, насколько я понимаю, реально использовали для принятия решений на раннем этапе развития эпидемии.
По сути там сначала получается интересный пример выделения признаков и преобразований для того, чтобы обучить сигмоидальную кривую линейной регрессией, а потом ещё более интересное подтверждение того, что всё это на самом деле ничего не даёт, ведь даже при выполнении всех предположений модели (что в реальности, конечно, не так) дисперсия предсказаний получается очень большая.
А потом мы перешли к задачам классификации. В основном я пытался донести геометрический смысл происходящего: как выглядят линейные разделяющие поверхности (для нескольких классов это нетривиальный вопрос), почему линейная классификация — это поиск хорошего направления для проекции, какие там подводные камни (на примере линейного дискриминанта Фишера) и так далее.
Рассказал и о том, что из порождающих моделей сразу следует оптимальный байесовский классификатор, показал это на примере гауссианов (LDA и QDA). Дальше на очереди логистическая регрессия.
#sfu #lectures #dsfrontiers
🔥12❤3
О, да, совсем забыл традиционное фото с семинара. Исправляюсь, ещё успел сегодня!) Доклад был, кстати, очень крутой, там реально целая немаленькая область, которой ещё заниматься и заниматься. Спасибо Артёму, что приехал!
#spsu #markovlab #seminar
#spsu #markovlab #seminar
❤39
И вот ещё какой любопытный контент у меня недавно получился: меня пригласили гостем телепередачи "Вопрос науки". В прошлую пятницу вышла, можно смотреть здесь:
Вопрос науки: ИИ-психоз
(выложил на страничку "Выступления", но всё равно только по внешней ссылке)
Честно скажу, когда я в первый раз увидел тему и план передачи (с подводками и примерными вопросами), я даже хотел поначалу отказаться: там были собраны вместе самые сенсационные истории, главный посыл выглядел как "люди добрые, какой ужас творится", и на выходе я опасался получить тот самый мем "учёный изнасиловал журналиста".
Однако я очень рад, что не отказался! Мы пообщались с редактором, который на самом деле всё понимает и был очень открыт к моим замечаниям, а ведущим оказался настоящий учёный (хоть и другой специальности). В итоге все сенсационные случаи остались на месте (что естественно), но мы чуток подправили вопросы ко мне и общее течение программы, и в отведённые 15-20 минут я смог рассказать, что такое вообще LLM, как они в общих чертах работают и откуда берётся у них подхалимство (sycophancy), которое, собственно, и приводит к LLM-психозам (а они и правда бывают, тут никакого обмана).
Мне кажется, в итоге получился хороший содержательный разговор, и из него практически ничего и не вырезали. Спасибо большое редактору, ведущему и всем остальным, и надеюсь как-нибудь прийти ещё! :)
#press #talks #ai
Вопрос науки: ИИ-психоз
(выложил на страничку "Выступления", но всё равно только по внешней ссылке)
Честно скажу, когда я в первый раз увидел тему и план передачи (с подводками и примерными вопросами), я даже хотел поначалу отказаться: там были собраны вместе самые сенсационные истории, главный посыл выглядел как "люди добрые, какой ужас творится", и на выходе я опасался получить тот самый мем "учёный изнасиловал журналиста".
Однако я очень рад, что не отказался! Мы пообщались с редактором, который на самом деле всё понимает и был очень открыт к моим замечаниям, а ведущим оказался настоящий учёный (хоть и другой специальности). В итоге все сенсационные случаи остались на месте (что естественно), но мы чуток подправили вопросы ко мне и общее течение программы, и в отведённые 15-20 минут я смог рассказать, что такое вообще LLM, как они в общих чертах работают и откуда берётся у них подхалимство (sycophancy), которое, собственно, и приводит к LLM-психозам (а они и правда бывают, тут никакого обмана).
Мне кажется, в итоге получился хороший содержательный разговор, и из него практически ничего и не вырезали. Спасибо большое редактору, ведущему и всем остальным, и надеюсь как-нибудь прийти ещё! :)
#press #talks #ai
❤32🔥12👍7
Сегодня у нас в пятничной рубрике игра, которая звучит как мечта: красиво, разнообразно, с мета-нарративом без четвёртой стены, с несколькими типами загадок, про каждому из которых можно было бы сделать отдельную крутую игру. Но, увы, здесь начинаются минусы...
Как всегда, здесь только структура, полный текст и иллюстрации по ссылке; и прочитайте, пожалуйста, абзац в конце, там обращение к читателям:
The Plucky Squire: Четвёртая стена детского театра
История создания и разработчики
[...] Тёрнер пришёл в игровую индустрию из анимации [...] а Джонатан Биддл был совладельцем и директором по дизайну издательства Curve Digital. [...] В общем, с артом и дизайном в The Plucky Squire всё должно было быть хорошо. Проект начался с концептуальной идеи Тёрнера о трёхмерной книге [...]
Отличные идеи
Хотя это очень детская игра по визуалу, настроению и всему остальному, по сути она очень интересно играет с четвёртой стеной. [...] Всё начинается с того, что твоего персонажа представляют как главного героя сказочного королевства [...] Но быстро выясняется, что действие игры действительно происходит в книге сказок. Более того, многие персонажи понимают это! Четвёртая стена сначала ломается, а потом её обломки сметают в сторону, и больше про неё уже никто не вспоминает. [...]
Центральная механика игры построена на уникальной способности главного персонажа: он может выйти из книги и попасть в трёхмерный мир [...] Более того, герой может взаимодействовать с самой книгой: перелистывать страницы, манипулировать объектами на столе, использовать предметы из "реального" мира для решения головоломок в книге.
Но и это ещё не всё! Сражения с боссами представляют собой очень круто оформленные мини-игры [...] А ещё здесь есть детская версия Baba Is You! Некоторые загадки представляют собой предложения, из которых можно вынимать слова и вставлять на их место другие [...]
Посредственная реализация
К сожалению, при всей визуальной привлекательности и изобретательности концепции, The Plucky Squire на всём своём протяжении страдает от одной и той же проблемы: разработчики как будто побоялись сделать игру требующей хоть каких-то усилий. [...]
Начнём с боевой системы: она есть, но непонятно зачем [...] Пожалуй, лучше было бы бои вообще убрать, или превратить их в головоломки.
Кстати, про головоломки — вот здесь, увы, катастрофа. Блестящая идея с использованием книги [...] практически не используется совсем. Только в самом конце игры начали появляться хоть немного интересные загадки. [...]
Я прошёл игру за 7-8 часов, что для такого проекта совсем немного. Но ощущалось это как гораздо более долгое прохождение, потому что в геймплее так и не появилось ничего интересного. [...] Отдельно отмечу технические недостатки [...] постоянные заикания и фризы, которые буквально не давали проходить платформинг-части и мешали боям. И это на RTX 3080 Ti! [...]
Заключение
К сожалению, должен признать, что The Plucky Squire — это игра упущенных возможностей. Здесь множество крутых идей, красивый визуальный стиль, обаятельный мир... но многие из этих элементов так и остались на уровне концепции. [...] Первые два часа действительно вдохновляют и удивляют. Но будьте готовы к тому, что дальше может оказаться не так круто; эту книгу интересно полистать, но вряд ли захочется перечитывать.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру; в этом году была Assassin's Creed: Odyssey, два года назад — Atomic Heart. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
Как всегда, здесь только структура, полный текст и иллюстрации по ссылке; и прочитайте, пожалуйста, абзац в конце, там обращение к читателям:
The Plucky Squire: Четвёртая стена детского театра
История создания и разработчики
[...] Тёрнер пришёл в игровую индустрию из анимации [...] а Джонатан Биддл был совладельцем и директором по дизайну издательства Curve Digital. [...] В общем, с артом и дизайном в The Plucky Squire всё должно было быть хорошо. Проект начался с концептуальной идеи Тёрнера о трёхмерной книге [...]
Отличные идеи
Хотя это очень детская игра по визуалу, настроению и всему остальному, по сути она очень интересно играет с четвёртой стеной. [...] Всё начинается с того, что твоего персонажа представляют как главного героя сказочного королевства [...] Но быстро выясняется, что действие игры действительно происходит в книге сказок. Более того, многие персонажи понимают это! Четвёртая стена сначала ломается, а потом её обломки сметают в сторону, и больше про неё уже никто не вспоминает. [...]
Центральная механика игры построена на уникальной способности главного персонажа: он может выйти из книги и попасть в трёхмерный мир [...] Более того, герой может взаимодействовать с самой книгой: перелистывать страницы, манипулировать объектами на столе, использовать предметы из "реального" мира для решения головоломок в книге.
Но и это ещё не всё! Сражения с боссами представляют собой очень круто оформленные мини-игры [...] А ещё здесь есть детская версия Baba Is You! Некоторые загадки представляют собой предложения, из которых можно вынимать слова и вставлять на их место другие [...]
Посредственная реализация
К сожалению, при всей визуальной привлекательности и изобретательности концепции, The Plucky Squire на всём своём протяжении страдает от одной и той же проблемы: разработчики как будто побоялись сделать игру требующей хоть каких-то усилий. [...]
Начнём с боевой системы: она есть, но непонятно зачем [...] Пожалуй, лучше было бы бои вообще убрать, или превратить их в головоломки.
Кстати, про головоломки — вот здесь, увы, катастрофа. Блестящая идея с использованием книги [...] практически не используется совсем. Только в самом конце игры начали появляться хоть немного интересные загадки. [...]
Я прошёл игру за 7-8 часов, что для такого проекта совсем немного. Но ощущалось это как гораздо более долгое прохождение, потому что в геймплее так и не появилось ничего интересного. [...] Отдельно отмечу технические недостатки [...] постоянные заикания и фризы, которые буквально не давали проходить платформинг-части и мешали боям. И это на RTX 3080 Ti! [...]
Заключение
К сожалению, должен признать, что The Plucky Squire — это игра упущенных возможностей. Здесь множество крутых идей, красивый визуальный стиль, обаятельный мир... но многие из этих элементов так и остались на уровне концепции. [...] Первые два часа действительно вдохновляют и удивляют. Но будьте готовы к тому, что дальше может оказаться не так круто; эту книгу интересно полистать, но вряд ли захочется перечитывать.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру; в этом году была Assassin's Creed: Odyssey, два года назад — Atomic Heart. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
🔥7❤4
В курсе "Основы байесовского вывода" в четверг в общем-то закончили обычную программу первого семестра:
СПбГУ — 2025.12.03 — Экспоненциальное семейство и GLM
(слайды, доска и код на странице курса)
Экспоненциальное семейство — очень правильная степень общности для машинного обучения. Для распределений из экспоненциального семейства можно и правдоподобие максимизировать универсальным образом (совсем тривиально в параметризации средним), и достаточные статистики имеют прямой смысл для ML, и сопряжённые априорные получаются автоматически, и даже предсказательное распределение (насколько это возможно).
А обобщённые линейные модели — это правильная степень общности для линейной и логистической регрессии. Действительно, странно выглядит, что мы много обсуждаем, как подставить линейную функцию в softmax, и никогда не пытаемся сменить "функцию активации" и подставить её куда-то ещё.
Этот семестр очень долгий получается, 16 лекций. Так что дальше, наверное, не буду возвращать пропущенные второстепенные примеры вроде эффекта горячей руки, а начну материал второго семестра. Этак и ещё раньше глубокое обучение начнём весной.)
#spsu #lectures #bayes2025
СПбГУ — 2025.12.03 — Экспоненциальное семейство и GLM
(слайды, доска и код на странице курса)
Экспоненциальное семейство — очень правильная степень общности для машинного обучения. Для распределений из экспоненциального семейства можно и правдоподобие максимизировать универсальным образом (совсем тривиально в параметризации средним), и достаточные статистики имеют прямой смысл для ML, и сопряжённые априорные получаются автоматически, и даже предсказательное распределение (насколько это возможно).
А обобщённые линейные модели — это правильная степень общности для линейной и логистической регрессии. Действительно, странно выглядит, что мы много обсуждаем, как подставить линейную функцию в softmax, и никогда не пытаемся сменить "функцию активации" и подставить её куда-то ещё.
Этот семестр очень долгий получается, 16 лекций. Так что дальше, наверное, не буду возвращать пропущенные второстепенные примеры вроде эффекта горячей руки, а начну материал второго семестра. Этак и ещё раньше глубокое обучение начнём весной.)
#spsu #lectures #bayes2025
🔥6❤3👍1