Как вы наверняка догадываетесь, на СПбГУ моё преподавание в этом семестре отнюдь не заканчивается. Сегодня пост про Факультет технологий искусственного интеллекта (ФТИИ) Университета ИТМО, где я тоже начал новый курс глубокого обучения.
Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.
Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.
Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:
Глубокое обучение 2026 (ФТИИ ИТМО)
А вот первая лекция, точнее две, они там будут сдвоенные:
История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)
Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.
И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.
Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!
#lectures #itmo #dl2026
Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.
Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.
Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:
Глубокое обучение 2026 (ФТИИ ИТМО)
А вот первая лекция, точнее две, они там будут сдвоенные:
История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)
Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.
И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.
Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!
#lectures #itmo #dl2026
❤26🔥13👍6👎1🥰1👏1
[Метакомментарий: не знаю пока, как разбавлять лекции, но уж точно не могу себе позволить за целый день только анонс семинара выложить...]
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
❤12👍5🔥3
Почему свёрточная сеть не похожа на мозг, хотя её придумали по мотивам зрительной коры? В чём главный бонус от свёрток и почему у нас в голове так не получается? И какие ещё идеи, возникшие в свёрточных архитектурах, стоит понимать и в наши дни? Об этом в следующих лекциях в курсе глубокого обучения в ИТМО:
ИТМО — 2026.10.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В этой сдвоенной лекции сначала разбираемся, что позволяет вообще обучать глубокую сеть: откуда берутся инициализация Ксавье и нормализация по мини-батчам, почему градиенты затухают и как с этим бороться. Потом переходим от опытов Хьюбела и Визеля к свёрткам: считаем размеры тензоров и число весов, рисуем receptive field, pooling, padding и stride. На примере LeNet хорошо видно, как миллионы потенциальных параметров превращаются в сотни, а локальные признаки постепенно становятся глобальными.
Во второй части идём по архитектурным идеям от AlexNet и VGG до Inception, ResNet и EfficientNet: маленькие свёртки вместо больших, подсети внутри сети, остаточные связи, узкие горлышки и параллельные ветви обработки. Этот материал давно вышел за пределы классического компьютерного зрения: остаточные связи и слои нормализации работают и в современных трансформерах. Свёрточные сети, кстати, тоже продолжают жить, хотя. конечно, до последних новостей мы здесь не добрались.
#lectures #itmo #dl2026
ИТМО — 2026.10.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В этой сдвоенной лекции сначала разбираемся, что позволяет вообще обучать глубокую сеть: откуда берутся инициализация Ксавье и нормализация по мини-батчам, почему градиенты затухают и как с этим бороться. Потом переходим от опытов Хьюбела и Визеля к свёрткам: считаем размеры тензоров и число весов, рисуем receptive field, pooling, padding и stride. На примере LeNet хорошо видно, как миллионы потенциальных параметров превращаются в сотни, а локальные признаки постепенно становятся глобальными.
Во второй части идём по архитектурным идеям от AlexNet и VGG до Inception, ResNet и EfficientNet: маленькие свёртки вместо больших, подсети внутри сети, остаточные связи, узкие горлышки и параллельные ветви обработки. Этот материал давно вышел за пределы классического компьютерного зрения: остаточные связи и слои нормализации работают и в современных трансформерах. Свёрточные сети, кстати, тоже продолжают жить, хотя. конечно, до последних новостей мы здесь не добрались.
#lectures #itmo #dl2026
❤12👍6🔥3❤🔥1🥰1😍1