Как вы наверняка догадываетесь, на СПбГУ моё преподавание в этом семестре отнюдь не заканчивается. Сегодня пост про Факультет технологий искусственного интеллекта (ФТИИ) Университета ИТМО, где я тоже начал новый курс глубокого обучения.
Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.
Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.
Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:
Глубокое обучение 2026 (ФТИИ ИТМО)
А вот первая лекция, точнее две, они там будут сдвоенные:
История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)
Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.
И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.
Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!
#lectures #itmo #dl2026
Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.
Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.
Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:
Глубокое обучение 2026 (ФТИИ ИТМО)
А вот первая лекция, точнее две, они там будут сдвоенные:
История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)
Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.
И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.
Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!
#lectures #itmo #dl2026
❤26🔥13👍6👎1🥰1👏1
И ещё один курс начался! Как и в прошлом году, я продолжаю преподавать в Южном федеральном университете, где задача состоит в том, чтобы рассказать о машинном обучении на первом курсе, ещё до всякого теорвера и даже, формально говоря, до матанализа.
В этом году мы решили начать с глубокого обучения, потому что оно действительно требует меньше математической подготовки (если не углубляться в фундаментальные основы). Вот страничка нового курса:
Технологии и фронтиры науки о данных — ЮФУ, осень 2026
Впрочем, хоть это и будет про нейросети, я всё равно начал с истории и общего введения в то, что такое искусственный интеллект; это популярная часть, для которой вообще никакой математики не надо. Первая лекция:
ЮФУ — 2026.09.07 — Что такое AI? Введение, терминология, типы данных и задач
(слайды на странице курса)
Это был очень интересный и необычный опыт, потому что на первую лекцию пришли более 600 (!!!) человек, и вы, наверное, догадываетесь, во что превратился чат нашей конференции. Разумеется, в эфир голосом слушателей не пускали, но и чата мне более чем хватило.)
Поэтому, хотя я в целом вроде справился и что-то даже содержательное рассказал, смотреть запись лекции, наверное, будет сложно: там много ответов на вопросы, которых вы в записи не увидите, и реакций на комментарии, которых тоже нет. Но для коллег из ЮФУ записи, надеюсь, будут всё-таки полезны, так что выкладывать буду в любом случае.
Но и в целом мне понравилось! Это было круто, необычно, местами очень смешно и интересно. Надеюсь, слушатели продолжат приходить в таких же количествах, и мы вместе пройдём этот путь к пресловутым "фронтирам науки о данных" так далеко, как сможем за семестр!
#sfu #lectures #dsfrontiers
В этом году мы решили начать с глубокого обучения, потому что оно действительно требует меньше математической подготовки (если не углубляться в фундаментальные основы). Вот страничка нового курса:
Технологии и фронтиры науки о данных — ЮФУ, осень 2026
Впрочем, хоть это и будет про нейросети, я всё равно начал с истории и общего введения в то, что такое искусственный интеллект; это популярная часть, для которой вообще никакой математики не надо. Первая лекция:
ЮФУ — 2026.09.07 — Что такое AI? Введение, терминология, типы данных и задач
(слайды на странице курса)
Это был очень интересный и необычный опыт, потому что на первую лекцию пришли более 600 (!!!) человек, и вы, наверное, догадываетесь, во что превратился чат нашей конференции. Разумеется, в эфир голосом слушателей не пускали, но и чата мне более чем хватило.)
Поэтому, хотя я в целом вроде справился и что-то даже содержательное рассказал, смотреть запись лекции, наверное, будет сложно: там много ответов на вопросы, которых вы в записи не увидите, и реакций на комментарии, которых тоже нет. Но для коллег из ЮФУ записи, надеюсь, будут всё-таки полезны, так что выкладывать буду в любом случае.
Но и в целом мне понравилось! Это было круто, необычно, местами очень смешно и интересно. Надеюсь, слушатели продолжат приходить в таких же количествах, и мы вместе пройдём этот путь к пресловутым "фронтирам науки о данных" так далеко, как сможем за семестр!
#sfu #lectures #dsfrontiers
🔥22❤12👍1👏1
В курсе "Основы байесовского вывода" в СПбГУ прошла вторая лекция:
СПбГУ — 2026.09.11 — Байесовский вывод для монетки
(слайды и доска на странице курса)
Но до монетки ещё надо было добраться: сначала поговорили о том, что вообще означает байесовский подход, а потом разобрали несколько задач, в которых вероятностная интуиция легко подводит. Тут были медицинские тесты, ошибки прокурора и адвоката, и даже спящая красавица.
А потом всё-таки начали считать. Взяли монетку с неизвестной вероятностью орла, задали равномерное априорное распределение и получили апостериорное. Самое интересное здесь — разница между поиском наиболее вероятного параметра и предсказанием следующего броска: во втором случае нужно усреднить ответ по всему апостериорному распределению. Получается правило Лапласа, то самое добавление единичек к числам наблюдений. Если нам пока выпадали только орлы, это ещё не повод объявлять решку невозможной.
В целом мы пока, конечно, во вводной части курса, и просто развиваем свои понятия о том, что такое неопределённость и как с ней работать в контексте машинного обучения.
Но скоро уже будем переходить к более содержательным вещам: в следующий раз об априорных распределениях поговорим и начнём, наверное, линейную регрессию.
#spsu #bayes2026 #lectures
СПбГУ — 2026.09.11 — Байесовский вывод для монетки
(слайды и доска на странице курса)
Но до монетки ещё надо было добраться: сначала поговорили о том, что вообще означает байесовский подход, а потом разобрали несколько задач, в которых вероятностная интуиция легко подводит. Тут были медицинские тесты, ошибки прокурора и адвоката, и даже спящая красавица.
А потом всё-таки начали считать. Взяли монетку с неизвестной вероятностью орла, задали равномерное априорное распределение и получили апостериорное. Самое интересное здесь — разница между поиском наиболее вероятного параметра и предсказанием следующего броска: во втором случае нужно усреднить ответ по всему апостериорному распределению. Получается правило Лапласа, то самое добавление единичек к числам наблюдений. Если нам пока выпадали только орлы, это ещё не повод объявлять решку невозможной.
В целом мы пока, конечно, во вводной части курса, и просто развиваем свои понятия о том, что такое неопределённость и как с ней работать в контексте машинного обучения.
Но скоро уже будем переходить к более содержательным вещам: в следующий раз об априорных распределениях поговорим и начнём, наверное, линейную регрессию.
#spsu #bayes2026 #lectures
❤11🔥7👍5💘1
В курсе "Глубокое обучение" в СПбГУ добрались наконец до архитектурных идей:
СПбГУ — 2026.09.11 — Свёрточные нейронные сети
(слайды и доска на странице курса)
Начали, как всегда, издалека, с исследований зрительной коры Хьюбела и Визела, а потом разобрались с главной идеей: один и тот же детектор признака можно применять в разных местах картинки. Это сразу даёт и меньше параметров, и больше примеров для обучения каждого из них. Дальше из простых локальных признаков постепенно собираются более сложные, а поле зрения нейронов растёт от слоя к слою.
Разобрали устройство свёрточного слоя, пулинг, градиенты для общих весов, padding и stride. Из архитектур успели посмотреть LeNet и AlexNet, а заодно поговорить об ImageNet и том самом прорыве, после которого глубокое обучение стало трудно игнорировать. AlexNet стал поводом для того, чтобы поговорить об обучении на нескольких видеокартах, параллелизме по модели и по данным и об аугментации изображений.
LeNet и AlexNet уже стали историей, но свёртки продолжают жить и развиваться: например, в семействе DINOv3 (до которого в курсе мы дойдём не скоро, if ever) есть модели на ConvNeXt. Идея локального фильтра с общими весами до наших дней, безусловно, дожила. И понять, почему она работает, полезно даже тогда, когда готовую модель можно загрузить одной строчкой.
#spsu #dl2026 #lectures
СПбГУ — 2026.09.11 — Свёрточные нейронные сети
(слайды и доска на странице курса)
Начали, как всегда, издалека, с исследований зрительной коры Хьюбела и Визела, а потом разобрались с главной идеей: один и тот же детектор признака можно применять в разных местах картинки. Это сразу даёт и меньше параметров, и больше примеров для обучения каждого из них. Дальше из простых локальных признаков постепенно собираются более сложные, а поле зрения нейронов растёт от слоя к слою.
Разобрали устройство свёрточного слоя, пулинг, градиенты для общих весов, padding и stride. Из архитектур успели посмотреть LeNet и AlexNet, а заодно поговорить об ImageNet и том самом прорыве, после которого глубокое обучение стало трудно игнорировать. AlexNet стал поводом для того, чтобы поговорить об обучении на нескольких видеокартах, параллелизме по модели и по данным и об аугментации изображений.
LeNet и AlexNet уже стали историей, но свёртки продолжают жить и развиваться: например, в семействе DINOv3 (до которого в курсе мы дойдём не скоро, if ever) есть модели на ConvNeXt. Идея локального фильтра с общими весами до наших дней, безусловно, дожила. И понять, почему она работает, полезно даже тогда, когда готовую модель можно загрузить одной строчкой.
#spsu #dl2026 #lectures
❤13👍6🔥4🎉1
В курсе "Технологии и фронтиры науки о данных" в ЮФУ прошла вторая лекция:
ЮФУ — 2026.09.14 — История AI как идеи и как науки
(слайды и доска на странице курса)
Сначала немного разобрались с постановками задач машинного обучения, а потом отправились в далёкое прошлое: к Талосу и големам, механическим автоматам, Лейбницу, Бэббиджу и роботам в литературе. Люди хотели создать кого-нибудь разумного задолго до того, как у них появились компьютеры, и опасаться последствий тоже начали заранее.
Затем мы добрались до AI как науки: кибернетики Винера, модели нейрона Маккаллоха — Питтса, Дартмутского семинара и перцептрона Розенблатта. Отдельно и довольно подробно поговорили о Тьюринге: он занимался далеко не только своими всем известными машиной и тестом. Но и про сам тест Тьюринга было что обсудить.
Ключевой вопрос из эссе Тьюринга — "может ли машина мыслить?" — с появлением современных LLM только получил новых участников спора. Всем рекомендую, кстати, прочитать аргументы Тьюринга из 1950 года и узнать в них сегодняшние разговоры о том, "понимает" ли модель то, что говорит.
Дальше поговорим о тех разделах AI, которые в курсе обсуждать подробно не будем, ну а потом пора будет наконец переходить к нейросетям и тому, как они устроены.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.14 — История AI как идеи и как науки
(слайды и доска на странице курса)
Сначала немного разобрались с постановками задач машинного обучения, а потом отправились в далёкое прошлое: к Талосу и големам, механическим автоматам, Лейбницу, Бэббиджу и роботам в литературе. Люди хотели создать кого-нибудь разумного задолго до того, как у них появились компьютеры, и опасаться последствий тоже начали заранее.
Затем мы добрались до AI как науки: кибернетики Винера, модели нейрона Маккаллоха — Питтса, Дартмутского семинара и перцептрона Розенблатта. Отдельно и довольно подробно поговорили о Тьюринге: он занимался далеко не только своими всем известными машиной и тестом. Но и про сам тест Тьюринга было что обсудить.
Ключевой вопрос из эссе Тьюринга — "может ли машина мыслить?" — с появлением современных LLM только получил новых участников спора. Всем рекомендую, кстати, прочитать аргументы Тьюринга из 1950 года и узнать в них сегодняшние разговоры о том, "понимает" ли модель то, что говорит.
Дальше поговорим о тех разделах AI, которые в курсе обсуждать подробно не будем, ну а потом пора будет наконец переходить к нейросетям и тому, как они устроены.
#sfu #lectures #dsfrontiers
🔥12❤9👍6👏1
В пятницу в СПбГУ на "Основах байесовского вывода" закончили историю с монеткой и добрались до линейной регрессии:
СПбГУ — 2026.09.18 — Сопряжённые априорные распределения и линейная регрессия
(слайды, доска и код на странице курса)
Сначала разобрали, как выбрать априорное семейство так, чтобы весь байесовский вывод свёлся к пересчёту нескольких чисел. Заодно от монетки из магазина фокусов дошли до распределения Дирихле и его связи с тематическими моделями (пока поверхностно).
А потом перешли к линейной регрессии: вывели метод наименьших квадратов и обсудили, какие предположения о шуме за ним стоят и что делать, если они не выполняются.
Линейная регрессия, конечно, и в 2026-м никуда не делась: в большой нейросети, предсказывающей число, в конце обычно стоит именно она, а всё остальное извлекает для неё признаки. Мы пока извлекали их руками — полиномиальные и локальные, на радиальных базисных функциях, — и посмотрели, какие кривые из этого получаются.
В следующий раз уже будем заниматься настоящим байесовским выводом, с априорными распределениями, а может, бог даст, и с предсказательными.
#spsu #bayes2026 #lectures
СПбГУ — 2026.09.18 — Сопряжённые априорные распределения и линейная регрессия
(слайды, доска и код на странице курса)
Сначала разобрали, как выбрать априорное семейство так, чтобы весь байесовский вывод свёлся к пересчёту нескольких чисел. Заодно от монетки из магазина фокусов дошли до распределения Дирихле и его связи с тематическими моделями (пока поверхностно).
А потом перешли к линейной регрессии: вывели метод наименьших квадратов и обсудили, какие предположения о шуме за ним стоят и что делать, если они не выполняются.
Линейная регрессия, конечно, и в 2026-м никуда не делась: в большой нейросети, предсказывающей число, в конце обычно стоит именно она, а всё остальное извлекает для неё признаки. Мы пока извлекали их руками — полиномиальные и локальные, на радиальных базисных функциях, — и посмотрели, какие кривые из этого получаются.
В следующий раз уже будем заниматься настоящим байесовским выводом, с априорными распределениями, а может, бог даст, и с предсказательными.
#spsu #bayes2026 #lectures
❤9👍6🔥3
Вы же не думали, что на курсах "Основы байесовского вывода" и "Глубокое обучение" в СПбГУ, "Глубокое обучение" в ИТМО, "Фронтиры науки о данных" в ЮФУ, семинаре лаборатории Маркова и ещё не выкладываемых публично занятиях в НИУ ВШЭ и ИТМО моя преподавательская нагрузка в этом семестре заканчивается?..
С этой осени я преподаю ещё и в Центральном университете. Это очень молодой частный университет, организованный Т-банком в 2023 году. Там работают совершенно потрясающие люди, и пока все мои взаимодействия с ЦУ проходят очень тепло и приятно. Надеюсь, что мы придумаем для вас и студентов ЦУ ещё кое-что менее формальное, чем лекции и выступления, но об этом потом, если таки соберёмся.
Более того, коллеги из ЦУ даже уговорили меня иногда лично приезжать в Москву. Две недели назад ездил в первый раз, за два дня прочитал четыре лекции, плюс ещё две удалённо в СПбГУ и большое выступление об AI в науке в "AI-клубе" Центрального университета. В общем, отлично отдохнул.)
Я там читаю свой обычный курс "Основы байесовского вывода", и, конечно, было приятно разок для разнообразия выступить с этим перед живой аудиторией, да ещё и такой прекрасной отзывчивой аудиторией, для которой курс оказался как раз в тему.
Мне разрешили выкладывать лекции из ЦУ в открытый доступ. Так что, как водится, я сделал страницу курса со слайдами и видеозаписями:
Основы байесовского вывода — Центральный Университет 2026
Но есть и плохая новость: добрая половина этих записей пока что абсолютно бесполезна. Я не знаю, почему так произошло, но большая часть того, что я писал на доске, просто... не попала в запись, а записывались при этом статичные слайды или страница с кодом. Там в ЦУ какая-то своя система с демонстрацией и записями, и логично, что записывалось то, что сейчас активно на экране, но вряд ли я мог полтора часа подряд писать на электронной доске так, что она при этом не выводилась на большой экран и была не видна студентам...
В общем, произошло что-то странное, и смотреть эти лекции смысла особого нет. Впрочем, по материалу вы ничего не потеряете, первые лекции, конечно, почти дословно идут по моему стандартному курсу из СПбГУ.
Но не написать вам про ЦУ не мог. Замечательная инициатива, замечательные люди, очень тёплый приём, и со стороны кажется, что к студентам этот университет относится не хуже, чем к преподавателям, а то и лучше.) Москвичам искренне рекомендую.
#centraluni #cubayes2026 #lectures
С этой осени я преподаю ещё и в Центральном университете. Это очень молодой частный университет, организованный Т-банком в 2023 году. Там работают совершенно потрясающие люди, и пока все мои взаимодействия с ЦУ проходят очень тепло и приятно. Надеюсь, что мы придумаем для вас и студентов ЦУ ещё кое-что менее формальное, чем лекции и выступления, но об этом потом, если таки соберёмся.
Более того, коллеги из ЦУ даже уговорили меня иногда лично приезжать в Москву. Две недели назад ездил в первый раз, за два дня прочитал четыре лекции, плюс ещё две удалённо в СПбГУ и большое выступление об AI в науке в "AI-клубе" Центрального университета. В общем, отлично отдохнул.)
Я там читаю свой обычный курс "Основы байесовского вывода", и, конечно, было приятно разок для разнообразия выступить с этим перед живой аудиторией, да ещё и такой прекрасной отзывчивой аудиторией, для которой курс оказался как раз в тему.
Мне разрешили выкладывать лекции из ЦУ в открытый доступ. Так что, как водится, я сделал страницу курса со слайдами и видеозаписями:
Основы байесовского вывода — Центральный Университет 2026
Но есть и плохая новость: добрая половина этих записей пока что абсолютно бесполезна. Я не знаю, почему так произошло, но большая часть того, что я писал на доске, просто... не попала в запись, а записывались при этом статичные слайды или страница с кодом. Там в ЦУ какая-то своя система с демонстрацией и записями, и логично, что записывалось то, что сейчас активно на экране, но вряд ли я мог полтора часа подряд писать на электронной доске так, что она при этом не выводилась на большой экран и была не видна студентам...
В общем, произошло что-то странное, и смотреть эти лекции смысла особого нет. Впрочем, по материалу вы ничего не потеряете, первые лекции, конечно, почти дословно идут по моему стандартному курсу из СПбГУ.
Но не написать вам про ЦУ не мог. Замечательная инициатива, замечательные люди, очень тёплый приём, и со стороны кажется, что к студентам этот университет относится не хуже, чем к преподавателям, а то и лучше.) Москвичам искренне рекомендую.
#centraluni #cubayes2026 #lectures
❤29🔥13👍8🥰2😁2🌚2❤🔥1💘1
Зачем делать нейросеть глубже, а потом специально добавлять в неё пути в обход новых слоёв? Оказывается, именно так глубокой сети бывает проще обучиться:
СПбГУ — 2026.09.18 — Идеи свёрточных архитектур от VGG до EfficientNet
(слайды и доска на странице курса)
Мы продолжили разбирать свёрточные архитектуры: от маленьких фильтров VGG и блоков Inception до остаточных связей ResNet, MobileNet и EfficientNet.
Суть, конечно, не в самих архитектурах, а в довольно наглядных идеях: как расширить поле зрения, сэкономить параметры, провести градиент через много слоёв и не потратить на всё это слишком много вычислений.
Эти идеи полезны и за пределами CNN: например, остаточные связи используются буквально везде, и в трансформерах, конечно, тоже. А, например, идея EfficientNet специфична для свёрток, но сама мысль согласованно подбирать гиперпараметры единой формулой, безусловно, полезна до сих пор.
[Метакомментарий: как видите, пытаюсь немного разнообразить стиль, но в целом пока канал в этом семестре устойчиво скатывается в сплошные лекции, их реально у меня больше накапливается, чем дней в неделе. Это вам норм, дорогие подписчики? Или лучше пусть выкладывание лекций отстаёт, но в канале пусть бывает и что-то другое?]
#spsu #dl2026 #lectures
СПбГУ — 2026.09.18 — Идеи свёрточных архитектур от VGG до EfficientNet
(слайды и доска на странице курса)
Мы продолжили разбирать свёрточные архитектуры: от маленьких фильтров VGG и блоков Inception до остаточных связей ResNet, MobileNet и EfficientNet.
Суть, конечно, не в самих архитектурах, а в довольно наглядных идеях: как расширить поле зрения, сэкономить параметры, провести градиент через много слоёв и не потратить на всё это слишком много вычислений.
Эти идеи полезны и за пределами CNN: например, остаточные связи используются буквально везде, и в трансформерах, конечно, тоже. А, например, идея EfficientNet специфична для свёрток, но сама мысль согласованно подбирать гиперпараметры единой формулой, безусловно, полезна до сих пор.
[Метакомментарий: как видите, пытаюсь немного разнообразить стиль, но в целом пока канал в этом семестре устойчиво скатывается в сплошные лекции, их реально у меня больше накапливается, чем дней в неделе. Это вам норм, дорогие подписчики? Или лучше пусть выкладывание лекций отстаёт, но в канале пусть бывает и что-то другое?]
#spsu #dl2026 #lectures
❤30👍10🔥8
Насколько сложной должна быть программа, чтобы человек захотел поговорить с ней по душам? ELIZA показала, что даже очень наивной основанной на паре сотен правил системы может быть достаточно, если сам человек будет готов увидеть собеседника:
ЮФУ — 2026.09.21 — Ранние AI-системы и начало нейросетей
(слайды на странице курса)
В новой лекции ЮФУ поговорили о первых системах AI: прувере Logic Theorist, роботе Shakey, ELIZA и SHRDLU. Вспомнили большие надежды на машинный перевод, зиму AI и экспертные системы; можно ли записать знания врача в виде правил и как вообще представить знания так, чтобы компьютер мог ими пользоваться?
Некоторые сюжеты звучат весьма современно: эмоциональная привязанность к программе, завышенные ожидания и попытки соединить язык со знанием о мире. Графы знаний тоже в наше время пока ещё никуда не исчезли — в лекции обсудили их связь с языковыми моделями. А в конце перешли к биологическому нейрону и вопросу о том, как мозг с его крайне невысокой "тактовой частотой" успевает быть таким умным.
Дальше будем переходить к сути того, как работают нейросети. Напоминаю, что это курс для первокурсников, то есть фактически популярные лекции, не проходите мимо.)
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.21 — Ранние AI-системы и начало нейросетей
(слайды на странице курса)
В новой лекции ЮФУ поговорили о первых системах AI: прувере Logic Theorist, роботе Shakey, ELIZA и SHRDLU. Вспомнили большие надежды на машинный перевод, зиму AI и экспертные системы; можно ли записать знания врача в виде правил и как вообще представить знания так, чтобы компьютер мог ими пользоваться?
Некоторые сюжеты звучат весьма современно: эмоциональная привязанность к программе, завышенные ожидания и попытки соединить язык со знанием о мире. Графы знаний тоже в наше время пока ещё никуда не исчезли — в лекции обсудили их связь с языковыми моделями. А в конце перешли к биологическому нейрону и вопросу о том, как мозг с его крайне невысокой "тактовой частотой" успевает быть таким умным.
Дальше будем переходить к сути того, как работают нейросети. Напоминаю, что это курс для первокурсников, то есть фактически популярные лекции, не проходите мимо.)
#sfu #lectures #dsfrontiers
❤16👍6🔥3😍2
В курсе "Основы байесовского вывода" дошли до линейной регрессии и классического оверфиттинга. Пример с полиномиальной регрессией привожу всегда, он вечен:
СПбГУ — 2026.09.25 — Линейная регрессия
(слайды, доска и код на странице курса)
В новой лекции по байесовскому выводу разбираемся с переобучением и регуляризацией. Многочлен начинает бессмысленно извиваться между точками, особенно когда становится интерполяционным, но его можно успокоить штрафами за большие веса. Обсудили геометрический смысл регуляризации и то, как всё это получается из априорных распределений.
А дальше начинается самое интересное: вместо одного "лучшего" вектора весов у нас появляется апостериорное распределение на них. Мы увидели, какое оно получается, а потом проиллюстрировали байесовский вывод: стали добавлять данные по одной точке и смотреть, как меняется распределение и насколько можно доверять предсказаниям вдали от наблюдений. Именно ради этой неопределённости и стоит разбираться с байесовским выводом, ведь проблема никуда не исчезает, когда вместо прямой у нас большая нейросеть.
Аналитический вывод предсказательного распределения оставили на следующий раз, но главную идею уже объяснили на картинках.
#spsu #bayes2026 #lectures
СПбГУ — 2026.09.25 — Линейная регрессия
(слайды, доска и код на странице курса)
В новой лекции по байесовскому выводу разбираемся с переобучением и регуляризацией. Многочлен начинает бессмысленно извиваться между точками, особенно когда становится интерполяционным, но его можно успокоить штрафами за большие веса. Обсудили геометрический смысл регуляризации и то, как всё это получается из априорных распределений.
А дальше начинается самое интересное: вместо одного "лучшего" вектора весов у нас появляется апостериорное распределение на них. Мы увидели, какое оно получается, а потом проиллюстрировали байесовский вывод: стали добавлять данные по одной точке и смотреть, как меняется распределение и насколько можно доверять предсказаниям вдали от наблюдений. Именно ради этой неопределённости и стоит разбираться с байесовским выводом, ведь проблема никуда не исчезает, когда вместо прямой у нас большая нейросеть.
Аналитический вывод предсказательного распределения оставили на следующий раз, но главную идею уже объяснили на картинках.
#spsu #bayes2026 #lectures
❤10👍7🔥4🍓1
[Метакомментарий: не знаю пока, как разбавлять лекции, но уж точно не могу себе позволить за целый день только анонс семинара выложить...]
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
❤12👍5🔥3
Курс в Центральном университете продолжается онлайн, хотя я туда ещё приеду и лично. На прошедших лекциях обсудили линейные классификаторы:
ЦУ — 2026.09.25 — Основы классификации и логистическая регрессия
(слайды, доска и код на странице курса)
Классификация начинается с геометрии: как разделить классы гиперплоскостью, почему соединять центроиды не всегда хорошая идея и какое направление ищет дискриминант Фишера. Мне кажется, понимать геометрическую суть происходящего очень важно в любом случае.
Потом вернулись к формуле Байеса, строили классификаторы из гауссовских распределений и добрались до логистической регрессии. Заодно выяснили, откуда возникают логистический сигмоид и softmax — те самые, которые дожили до современных нейросетей.
А дальше разбираем, как градиент поворачивает разделяющую гиперплоскость, почему метод Ньютона сильнее учитывает примеры, в которых модель сомневается, и что байесовский подход добавляет к обычному предсказанию.
В целом идём по плану, дальше, как водится, будет больше!
#centraluni #cubayes2026 #lectures
ЦУ — 2026.09.25 — Основы классификации и логистическая регрессия
(слайды, доска и код на странице курса)
Классификация начинается с геометрии: как разделить классы гиперплоскостью, почему соединять центроиды не всегда хорошая идея и какое направление ищет дискриминант Фишера. Мне кажется, понимать геометрическую суть происходящего очень важно в любом случае.
Потом вернулись к формуле Байеса, строили классификаторы из гауссовских распределений и добрались до логистической регрессии. Заодно выяснили, откуда возникают логистический сигмоид и softmax — те самые, которые дожили до современных нейросетей.
А дальше разбираем, как градиент поворачивает разделяющую гиперплоскость, почему метод Ньютона сильнее учитывает примеры, в которых модель сомневается, и что байесовский подход добавляет к обычному предсказанию.
В целом идём по плану, дальше, как водится, будет больше!
#centraluni #cubayes2026 #lectures
❤10🔥5👍4
Сети из линейных нейронов не имеют смысла, но одни нелинейные функции помогают сети учиться, а другие обучение останавливают. Поговорили о том, как устроены нейросети, в популярных лекциях в ЮФУ:
ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)
Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.
Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.
Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.
В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)
Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.
Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.
Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.
В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.
#sfu #lectures #dsfrontiers
👍9❤8🔥6
Даа, посты явно сильно отстают от темпа, заданного этим семестром... Впрочем, какая разница, это же не злободневные новости, а фундаментальные курсы лекций. Сегодня вот дошли до лекции, которая была в "Глубоком обучении" в позапрошлую пятницу:
СПбГУ — 2026.09.25 — Распознавание объектов
(слайды и доска на странице курса)
В новой лекции по глубокому обучению переходим от классификации картинок к распознаванию объектов. Я на этот раз сократил часть про компьютерное зрение, хочется всё-таки побольше поговорить про generative AI, но мы всё равно прошли стандартный путь от R-CNN, который отдельно обрабатывал каждый предложенный прямоугольник, до Faster R-CNN и YOLO. По дороге обсудили, как вообще обучать сеть с переменным числом ответов, почему маленькие объекты так трудно находить и как иерархия классов помогает объединять разные датасеты.
Как всегда, эта история интересна не конкретными архитектурами, а идеями, которые пригождаются далеко за пределами распознавания котиков: один раз посчитать общие признаки, добавить маленькому объекту контекст всей картинки, не дать тысячам простых отрицательных примеров заглушить несколько важных положительных... Архитектуры меняются, а идеи остаются, так что и в эпоху трансформеров их полезно понимать.
#spsu #dl2026 #lectures
СПбГУ — 2026.09.25 — Распознавание объектов
(слайды и доска на странице курса)
В новой лекции по глубокому обучению переходим от классификации картинок к распознаванию объектов. Я на этот раз сократил часть про компьютерное зрение, хочется всё-таки побольше поговорить про generative AI, но мы всё равно прошли стандартный путь от R-CNN, который отдельно обрабатывал каждый предложенный прямоугольник, до Faster R-CNN и YOLO. По дороге обсудили, как вообще обучать сеть с переменным числом ответов, почему маленькие объекты так трудно находить и как иерархия классов помогает объединять разные датасеты.
Как всегда, эта история интересна не конкретными архитектурами, а идеями, которые пригождаются далеко за пределами распознавания котиков: один раз посчитать общие признаки, добавить маленькому объекту контекст всей картинки, не дать тысячам простых отрицательных примеров заглушить несколько важных положительных... Архитектуры меняются, а идеи остаются, так что и в эпоху трансформеров их полезно понимать.
#spsu #dl2026 #lectures
❤11👍5👏2
А вот контент совсем новый, которого раньше в моих лекциях не было. В курсе "Технологии и фронтиры науки о данных" в ЮФУ я на прошлой лекции в конце заметил, что разговор об одном нейроне прошёл вроде бы хорошо, но слушатели совсем потерялись, когда я перешёл к сетям и начал говорить об оптимизации, функциях ошибки и вообще о том, что технически значит "обучение".
Поэтому лекцию в понедельник я сделал совсем новую. Постарался рассказать о том, что такое "обучение AI-модели", в самых-самых простых словах, начиная от печки:
ЮФУ — 2026.10.05 — Как обучаются модели машинного обучения
(слайды и доска на странице курса)
Первая задача обучения в этой лекции звучит буквально так. Предположим, что вы начали работать в копицентре, но вам забыли выдать прайс-лист. Зато на столе лежат три вчерашних чека: в первом за одну страницу распечатки заплатили 30 рублей, во втором 60 рублей за две, в третьем — 90 рублей за три. Какое, на ваш взгляд, здесь правило ценообразования?
И вот от этого вопроса мы начали потихоньку разворачивать основные понятия машинного обучения: чем inference отличается от learning, что такое функция ошибки, как выглядит эта задача с двумя параметрами (условная цена за оформление заказа), как данным соответствует много разных моделей (к 30x можно же прибавить 10(x-1)(x-2)(x-3), сохраняя нулевую ошибку), как работает локальный поиск параметров, почему бы их просто не перебрать...
Дошли, в целом, до понятия градиентного спуска; в следующий раз попробую уже всё-таки на нейросети этот разговор спроецировать.
Это был очень новый для меня педагогический опыт, так что, наверное, объяснял я не идеально, но кажется, что получилось интересно, и студенты тоже в итоге сказали, что "шестерёнки в голове начали вращаться". Так что если вам интересно узнать, что такое машинное обучение, но у вас нет никакой подготовки в этой области, попробуйте, вдруг зайдёт.)
#sfu #lectures #dsfrontiers
Поэтому лекцию в понедельник я сделал совсем новую. Постарался рассказать о том, что такое "обучение AI-модели", в самых-самых простых словах, начиная от печки:
ЮФУ — 2026.10.05 — Как обучаются модели машинного обучения
(слайды и доска на странице курса)
Первая задача обучения в этой лекции звучит буквально так. Предположим, что вы начали работать в копицентре, но вам забыли выдать прайс-лист. Зато на столе лежат три вчерашних чека: в первом за одну страницу распечатки заплатили 30 рублей, во втором 60 рублей за две, в третьем — 90 рублей за три. Какое, на ваш взгляд, здесь правило ценообразования?
И вот от этого вопроса мы начали потихоньку разворачивать основные понятия машинного обучения: чем inference отличается от learning, что такое функция ошибки, как выглядит эта задача с двумя параметрами (условная цена за оформление заказа), как данным соответствует много разных моделей (к 30x можно же прибавить 10(x-1)(x-2)(x-3), сохраняя нулевую ошибку), как работает локальный поиск параметров, почему бы их просто не перебрать...
Дошли, в целом, до понятия градиентного спуска; в следующий раз попробую уже всё-таки на нейросети этот разговор спроецировать.
Это был очень новый для меня педагогический опыт, так что, наверное, объяснял я не идеально, но кажется, что получилось интересно, и студенты тоже в итоге сказали, что "шестерёнки в голове начали вращаться". Так что если вам интересно узнать, что такое машинное обучение, но у вас нет никакой подготовки в этой области, попробуйте, вдруг зайдёт.)
#sfu #lectures #dsfrontiers
❤17❤🔥8👍5🥰4
Почему свёрточная сеть не похожа на мозг, хотя её придумали по мотивам зрительной коры? В чём главный бонус от свёрток и почему у нас в голове так не получается? И какие ещё идеи, возникшие в свёрточных архитектурах, стоит понимать и в наши дни? Об этом в следующих лекциях в курсе глубокого обучения в ИТМО:
ИТМО — 2026.10.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В этой сдвоенной лекции сначала разбираемся, что позволяет вообще обучать глубокую сеть: откуда берутся инициализация Ксавье и нормализация по мини-батчам, почему градиенты затухают и как с этим бороться. Потом переходим от опытов Хьюбела и Визеля к свёрткам: считаем размеры тензоров и число весов, рисуем receptive field, pooling, padding и stride. На примере LeNet хорошо видно, как миллионы потенциальных параметров превращаются в сотни, а локальные признаки постепенно становятся глобальными.
Во второй части идём по архитектурным идеям от AlexNet и VGG до Inception, ResNet и EfficientNet: маленькие свёртки вместо больших, подсети внутри сети, остаточные связи, узкие горлышки и параллельные ветви обработки. Этот материал давно вышел за пределы классического компьютерного зрения: остаточные связи и слои нормализации работают и в современных трансформерах. Свёрточные сети, кстати, тоже продолжают жить, хотя. конечно, до последних новостей мы здесь не добрались.
#lectures #itmo #dl2026
ИТМО — 2026.10.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В этой сдвоенной лекции сначала разбираемся, что позволяет вообще обучать глубокую сеть: откуда берутся инициализация Ксавье и нормализация по мини-батчам, почему градиенты затухают и как с этим бороться. Потом переходим от опытов Хьюбела и Визеля к свёрткам: считаем размеры тензоров и число весов, рисуем receptive field, pooling, padding и stride. На примере LeNet хорошо видно, как миллионы потенциальных параметров превращаются в сотни, а локальные признаки постепенно становятся глобальными.
Во второй части идём по архитектурным идеям от AlexNet и VGG до Inception, ResNet и EfficientNet: маленькие свёртки вместо больших, подсети внутри сети, остаточные связи, узкие горлышки и параллельные ветви обработки. Этот материал давно вышел за пределы классического компьютерного зрения: остаточные связи и слои нормализации работают и в современных трансформерах. Свёрточные сети, кстати, тоже продолжают жить, хотя. конечно, до последних новостей мы здесь не добрались.
#lectures #itmo #dl2026
❤12👍6🔥3❤🔥1🥰1😍1
Как заставить нейросеть сначала закрасить силуэт панды на фотографии, а потом уверенно увидеть в ней гиббона? В курсе "Глубокое обучение" в СПбГУ на прошлой неделе была сдвоенная лекция (потому что в эту пятницу я уезжал, так что, может, даже какой-нибудь не-лекционный пост или лишний обзор игры найдётся для вас на следующей неделе):
СПбГУ — 2026.10.02 — Сегментация и рекуррентные сети
(слайды и доска на странице курса)
В лекции мы сначала переходим от прямоугольников вокруг объектов к попиксельным маскам: FCN, U-Net, Mask R-CNN и несколько способов не растерять точную геометрию картинки. У идеи U-Net оказалась долгая жизнь: энкодер, декодер и связи между ними сохраняются и в моделях, где свёртки заменяют механизмами внимания.
Затем разбираемся, как почти незаметная добавка к изображению может кардинально изменить ответ сети и почему такие состязательные примеры можно использовать для обучения.
А вторая лекция была посвящена рекуррентным сетям. Мы выяснили, почему им трудно помнить далёкое прошлое, а потом представили возможные решения этой проблемы. LSTM становится гораздо понятнее, если видеть в нём контроллер памяти: один гейт стирает из памяти, другой записывает, третий решает, что прочитать. Мы сравнили его с GRU и обсудили, почему попытки сэкономить на матрицах так и не сделали LSTM ненужным.
Впереди уже механизмы внимания, а там и великий и ужасный трансформер!
#spsu #dl2026 #lectures
СПбГУ — 2026.10.02 — Сегментация и рекуррентные сети
(слайды и доска на странице курса)
В лекции мы сначала переходим от прямоугольников вокруг объектов к попиксельным маскам: FCN, U-Net, Mask R-CNN и несколько способов не растерять точную геометрию картинки. У идеи U-Net оказалась долгая жизнь: энкодер, декодер и связи между ними сохраняются и в моделях, где свёртки заменяют механизмами внимания.
Затем разбираемся, как почти незаметная добавка к изображению может кардинально изменить ответ сети и почему такие состязательные примеры можно использовать для обучения.
А вторая лекция была посвящена рекуррентным сетям. Мы выяснили, почему им трудно помнить далёкое прошлое, а потом представили возможные решения этой проблемы. LSTM становится гораздо понятнее, если видеть в нём контроллер памяти: один гейт стирает из памяти, другой записывает, третий решает, что прочитать. Мы сравнили его с GRU и обсудили, почему попытки сэкономить на матрицах так и не сделали LSTM ненужным.
Впереди уже механизмы внимания, а там и великий и ужасный трансформер!
#spsu #dl2026 #lectures
❤10👍5🔥3👀2
В пространстве размерности сто нет смысла покупать апельсины: они почти целиком состоят из кожуры. А ближайшие соседи там перестают быть близкими.
Последние лекции в Центральном университете были совсем поздними (я возвращался из поездки, и начало двух пар пришлось перенести с 19 часов на 20, да ещё и приехал к окончательно сломавшемуся компьютеру), но в итоге всё получилось:
ЦУ — 2026.10.09 — Проклятие размерности, bias-variance и гауссиан
(слайды, доска и ноутбук на странице курса)
В первой части разбираем проклятие размерности: почему нельзя просто перебрать все варианты, взять интеграл по сетке или везде обойтись ближайшими соседями. Затем смотрим на машинное обучение через статистическую теорию принятия решений и раскладываем ошибку на смещение, разброс и неустранимый шум.
Во второй части проводим байесовский вывод для гауссиана с неизвестными средним и дисперсией. Здесь есть небольшой сюрприз: и распределение среднего, и предсказательное распределение оказываются распределениями Стьюдента, то есть не просто гауссианом с большей дисперсией, а реально другим распределением с гораздо более тяжёлыми хвостами.
Эти сюжеты никуда не исчезли из современного ML. Поиск соседей нужен для поиска, в том числе поиска по эмбеддингам, геометрия в высоких размерностях всё так же требует осторожности. Разложение bias-variance-noise помогает понимать эффект регуляризации, а байесовский гауссиан показывает, что неопределённость в параметрах может менять даже форму предсказаний. В ноутбуке все три истории можно увидеть на картинках и сравнить аналитические формулы с экспериментами.
#centraluni #cubayes2026 #lectures
Последние лекции в Центральном университете были совсем поздними (я возвращался из поездки, и начало двух пар пришлось перенести с 19 часов на 20, да ещё и приехал к окончательно сломавшемуся компьютеру), но в итоге всё получилось:
ЦУ — 2026.10.09 — Проклятие размерности, bias-variance и гауссиан
(слайды, доска и ноутбук на странице курса)
В первой части разбираем проклятие размерности: почему нельзя просто перебрать все варианты, взять интеграл по сетке или везде обойтись ближайшими соседями. Затем смотрим на машинное обучение через статистическую теорию принятия решений и раскладываем ошибку на смещение, разброс и неустранимый шум.
Во второй части проводим байесовский вывод для гауссиана с неизвестными средним и дисперсией. Здесь есть небольшой сюрприз: и распределение среднего, и предсказательное распределение оказываются распределениями Стьюдента, то есть не просто гауссианом с большей дисперсией, а реально другим распределением с гораздо более тяжёлыми хвостами.
Эти сюжеты никуда не исчезли из современного ML. Поиск соседей нужен для поиска, в том числе поиска по эмбеддингам, геометрия в высоких размерностях всё так же требует осторожности. Разложение bias-variance-noise помогает понимать эффект регуляризации, а байесовский гауссиан показывает, что неопределённость в параметрах может менять даже форму предсказаний. В ноутбуке все три истории можно увидеть на картинках и сравнить аналитические формулы с экспериментами.
#centraluni #cubayes2026 #lectures
🔥17👍8❤5❤🔥1🙏1💘1
Ох, коллеги, совсем забыл вам лекцию-то выложить сегодня. А мы ведь продолжаем в ЮФУ объяснение основных понятий машинного обучения совсем на пальцах,
И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:
ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)
Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.
В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.
Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.
На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.
#sfu #lectures #dsfrontiers
И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:
ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)
Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.
В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.
Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.
На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.
#sfu #lectures #dsfrontiers
❤9👍6😍3🥰1🍓1
Линейная регрессия нарисовала прямую. Но насколько она уверена в ответе — особенно там, где не видела ни одной точки? Продолжаем разговор о байесовском выводе:
СПбГУ — 2026.10.16 — Предсказания и классификация
(слайды, доска и ноутбук на странице курса)
Сначала закончили байесовскую линейную регрессию: вместо одного "лучшего" набора весов учитываем всё апостериорное распределение и получаем не только прогноз, но и его неопределённость. На картинках и в ноутбуке видно, почему она зависит от того, где именно мы спрашиваем модель, и что происходит при экстраполяции.
Затем переходим к классификации: рисуем разделяющие поверхности, ищем хорошую проекцию методом Фишера и выводим оптимальный байесовский классификатор. Из предположения о гауссовских классах получаются QDA и LDA — и становится понятно, от чего зависит форма границы между классами. Эти классические идеи полезны и сегодня: на них хорошо видно, как связаны геометрия, вероятности и предположения о данных.
#spsu #bayes2026 #lectures
СПбГУ — 2026.10.16 — Предсказания и классификация
(слайды, доска и ноутбук на странице курса)
Сначала закончили байесовскую линейную регрессию: вместо одного "лучшего" набора весов учитываем всё апостериорное распределение и получаем не только прогноз, но и его неопределённость. На картинках и в ноутбуке видно, почему она зависит от того, где именно мы спрашиваем модель, и что происходит при экстраполяции.
Затем переходим к классификации: рисуем разделяющие поверхности, ищем хорошую проекцию методом Фишера и выводим оптимальный байесовский классификатор. Из предположения о гауссовских классах получаются QDA и LDA — и становится понятно, от чего зависит форма границы между классами. Эти классические идеи полезны и сегодня: на них хорошо видно, как связаны геометрия, вероятности и предположения о данных.
#spsu #bayes2026 #lectures
❤6👍4🔥4