И последний курс тоже закончился. В последней лекции курса "Технологии и фронтиры науки о данных" в ЮФУ рассказал несколько простых, но любопытных сюжетов:
ЮФУ — 2025.12.18 — Наивный Байес, калибровка, ретроспективные исследования
(слайды и доска на странице курса)
Наивный Байес — это самая простая порождающая модель, которая может быть полезной. Конечно, не как порождающая — никто не писал наивным Байесом тексты даже в 1960-е — но получающийся из неё наивный байесовский классификатор действительно работает на удивление хорошо, учитывая силу его предположений.
Затем перешли к вспомогательным темам о классификаторах. Что произойдёт, если ваши классы окажутся несбалансированными? А как оценить качество вероятностей, которые выдаёт ваш классификатор? Здесь есть о чём поговорить.
И, наконец, последний сюжет я обычно в основном курсе рассказываю заметно позже, уже как подводку к одному из любопытных примеров применения EM-алгоритма. Но отдельно он тоже более чем имеет смысл: это рассказ о проспективных и ретроспективных исследованиях и о том, как логистический сигмоид удивительным образом может не париться по поводу того, что наша выборка в ретроспективном исследовании искусственна и несбалансирована.
И здесь тоже на этом всё. Кажется, следующий семестр в этом курсе тоже будет, и там я попробую порассказывать про нейросети. Про них можно рассказывать ещё проще, чем о вероятностных основах ML, так что думаю, что всем всё зайдёт. Слушателям спасибо за внимание и до новых встреч!
#sfu #lectures #dsfrontiers
ЮФУ — 2025.12.18 — Наивный Байес, калибровка, ретроспективные исследования
(слайды и доска на странице курса)
Наивный Байес — это самая простая порождающая модель, которая может быть полезной. Конечно, не как порождающая — никто не писал наивным Байесом тексты даже в 1960-е — но получающийся из неё наивный байесовский классификатор действительно работает на удивление хорошо, учитывая силу его предположений.
Затем перешли к вспомогательным темам о классификаторах. Что произойдёт, если ваши классы окажутся несбалансированными? А как оценить качество вероятностей, которые выдаёт ваш классификатор? Здесь есть о чём поговорить.
И, наконец, последний сюжет я обычно в основном курсе рассказываю заметно позже, уже как подводку к одному из любопытных примеров применения EM-алгоритма. Но отдельно он тоже более чем имеет смысл: это рассказ о проспективных и ретроспективных исследованиях и о том, как логистический сигмоид удивительным образом может не париться по поводу того, что наша выборка в ретроспективном исследовании искусственна и несбалансирована.
И здесь тоже на этом всё. Кажется, следующий семестр в этом курсе тоже будет, и там я попробую порассказывать про нейросети. Про них можно рассказывать ещё проще, чем о вероятностных основах ML, так что думаю, что всем всё зайдёт. Слушателям спасибо за внимание и до новых встреч!
#sfu #lectures #dsfrontiers
❤23👍7
Ну что ж, отдых долгим не бывает, покой только снится, и вот опять начался семестр. Продолжается курс в Южном федеральном университете; кажется, формально он всё ещё называется "Технологии и фронтиры науки о данных", но я его теперь буду называть "Введение в глубокое обучение", потому что мы договорились, что этот семестр будет про нейросети.
Напоминаю, что это лекции для первокурсников, то есть я стараюсь двигаться медленно и не рассказывать ничего, что требует какой бы то ни было серьёзной математики. К счастью, как раз про нейросети очень много чего можно рассказать, не ссылаясь ни на что умнее обычной производной. В четверг начал:
ЮФУ — 2026.02.12 — Введение в глубокое обучение: история, функции активации, идея стохастического градиентного спуска
(слайды и доска на странице курса)
Стандартное введение начал с Маккаллоха-Питтса, функций активации (сигмоиды, ReLU, Swish), нейросети как графа вычислений и идеи градиентного спуска. Обсудили, почему не работают методы второго порядка (даже квазиньютоновские), и перешли к стохастическому градиентному спуску. О нём в следующий раз будем говорить подробно.
#sfu #lectures #dsfrontiers
Напоминаю, что это лекции для первокурсников, то есть я стараюсь двигаться медленно и не рассказывать ничего, что требует какой бы то ни было серьёзной математики. К счастью, как раз про нейросети очень много чего можно рассказать, не ссылаясь ни на что умнее обычной производной. В четверг начал:
ЮФУ — 2026.02.12 — Введение в глубокое обучение: история, функции активации, идея стохастического градиентного спуска
(слайды и доска на странице курса)
Стандартное введение начал с Маккаллоха-Питтса, функций активации (сигмоиды, ReLU, Swish), нейросети как графа вычислений и идеи градиентного спуска. Обсудили, почему не работают методы второго порядка (даже квазиньютоновские), и перешли к стохастическому градиентному спуску. О нём в следующий раз будем говорить подробно.
#sfu #lectures #dsfrontiers
❤17👍8👨💻3
Прошлую неделю пропустил из-за OpenTalks.AI, но вот в четверг прошла вторая лекция курса "Deep learning для начинающих" в ЮФУ:
ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)
Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)
Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.
#sfu #lectures #dsfrontiers
1❤15🔥5👍1
В курсе "Введение в глубокое обучение" в ЮФУ прошла третья лекция:
ЮФУ — 2026.03.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В прошлый раз мы обсудили алгоритмы обучения (стохастического градиентного спуска), а в этот раз начали говорить уже собственно об архитектурах нейросетей. Сначала пару слов о полносвязных сетях, а потом перешли к свёрточным.
Вообще идея свёрток — это очень крутая мысль, главный, наверное, пример структурной регуляризации. Берёте маленькую сеть, которая получает на вход только маленький кусочек от входа, и запускаете её параллельно сколько угодно раз. И тем самым маленькая сеть с фиксированным маленьким числом весов получает возможность извлечь свои локальные признаки из входа любого размера.
В основном об этом мы и говорили, подробно и обстоятельно. В следующий раз обсудим архитектуры, которые в свёрточных сетях появились после революции глубокого обучения.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В прошлый раз мы обсудили алгоритмы обучения (стохастического градиентного спуска), а в этот раз начали говорить уже собственно об архитектурах нейросетей. Сначала пару слов о полносвязных сетях, а потом перешли к свёрточным.
Вообще идея свёрток — это очень крутая мысль, главный, наверное, пример структурной регуляризации. Берёте маленькую сеть, которая получает на вход только маленький кусочек от входа, и запускаете её параллельно сколько угодно раз. И тем самым маленькая сеть с фиксированным маленьким числом весов получает возможность извлечь свои локальные признаки из входа любого размера.
В основном об этом мы и говорили, подробно и обстоятельно. В следующий раз обсудим архитектуры, которые в свёрточных сетях появились после революции глубокого обучения.
#sfu #lectures #dsfrontiers
👍17❤4
В четверг, после всяких интересных путешествий и лекций в Сириусе, читал в курсе "Введение в глубокое обучение" в ЮФУ вот такую лекцию:
ЮФУ — 2026.03.05 — Архитектуры свёрточных сетей
(слайды и доска на странице курса)
В прошлый раз обсуждали основные понятия свёрточных сетей, то, как они устроены, а в этот раз — основные архитектурные идеи свёрточных сетей. Начали с AlexNet, его параллельной реализации и аугментации данных в AlexNet.
Потом семейство VGG и его идея композиции свёрток, network in network и Inception, остаточные связи и ResNet — это, конечно, самая главная идея, напрочь решающая проблему с обучением глубоких сетей; остаточные связи до сих пор бывают везде, вокруг любых слоёв, например в тех же трансформерах. Затем bottleneck-слои и split-transform-merge (это тоже красивая мысль, позволяющая намекнуть на геометрию происходящего), потом EfficientNet... да и всё, на этом свёрточные сети по сути заканчиваются.
В общем, лекция по идее стандартная, из курса deep learning, и это очередной случай, когда много важных и красивых идей можно объяснить буквально на пальцах, не требуя никакого серьёзного знания математики. В глубоком обучении так довольно часто бывает.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.05 — Архитектуры свёрточных сетей
(слайды и доска на странице курса)
В прошлый раз обсуждали основные понятия свёрточных сетей, то, как они устроены, а в этот раз — основные архитектурные идеи свёрточных сетей. Начали с AlexNet, его параллельной реализации и аугментации данных в AlexNet.
Потом семейство VGG и его идея композиции свёрток, network in network и Inception, остаточные связи и ResNet — это, конечно, самая главная идея, напрочь решающая проблему с обучением глубоких сетей; остаточные связи до сих пор бывают везде, вокруг любых слоёв, например в тех же трансформерах. Затем bottleneck-слои и split-transform-merge (это тоже красивая мысль, позволяющая намекнуть на геометрию происходящего), потом EfficientNet... да и всё, на этом свёрточные сети по сути заканчиваются.
В общем, лекция по идее стандартная, из курса deep learning, и это очередной случай, когда много важных и красивых идей можно объяснить буквально на пальцах, не требуя никакого серьёзного знания математики. В глубоком обучении так довольно часто бывает.
#sfu #lectures #dsfrontiers
❤11❤🔥1👍1🔥1
В четверг в курсе "Введение в глубокое обучение" в ЮФУ продолжали разговоры о всяких разных нейросетевых архитектурах:
ЮФУ — 2026.03.19 — Рекуррентные нейронные сети
(слайды и доска на странице курса)
Рекуррентные сети — это настолько же старая идея, как и свёрточные. В 1980-х и начале 1990-х, правда, обучать их "по-честному", таская градиенты через всю последовательность, было вычислительно очень сложно. Но конструкции были уже вполне современные.
А самую главную конструкцию рекуррентных сетей, которая до сих пор активно используется, — LSTM — придумали Хохрайтер со Шмидхубером ещё в 1995 году, а в совсем современном виде в 2000-м. И что бы потом ни изобретали, LSTM в рекуррентных сетях так и не умер: GRU вот были очень популярны, но потом оказалось, что GRU хороши, быстры и экономны для относительно простых задач, а для сложных всё равно LSTM побеждает (Cahuantzi et al., 2021).
Кстати, на базовых лекциях я об этом не рассказываю, конечно, но было недавнее исследование (Feng et al., 2024), где из LSTM и GRU сделали их мини-версии, которые на удивление хорошо работают! Но это уже надо рассказывать в контексте SSM (state space models), до которых мы явно не дойдём.
Да и сами SSM в целом появились как шаг от трансформеров в сторону рекуррентных сетей. Но это уже всё-таки совсем другая история.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.19 — Рекуррентные нейронные сети
(слайды и доска на странице курса)
Рекуррентные сети — это настолько же старая идея, как и свёрточные. В 1980-х и начале 1990-х, правда, обучать их "по-честному", таская градиенты через всю последовательность, было вычислительно очень сложно. Но конструкции были уже вполне современные.
А самую главную конструкцию рекуррентных сетей, которая до сих пор активно используется, — LSTM — придумали Хохрайтер со Шмидхубером ещё в 1995 году, а в совсем современном виде в 2000-м. И что бы потом ни изобретали, LSTM в рекуррентных сетях так и не умер: GRU вот были очень популярны, но потом оказалось, что GRU хороши, быстры и экономны для относительно простых задач, а для сложных всё равно LSTM побеждает (Cahuantzi et al., 2021).
Кстати, на базовых лекциях я об этом не рассказываю, конечно, но было недавнее исследование (Feng et al., 2024), где из LSTM и GRU сделали их мини-версии, которые на удивление хорошо работают! Но это уже надо рассказывать в контексте SSM (state space models), до которых мы явно не дойдём.
Да и сами SSM в целом появились как шаг от трансформеров в сторону рекуррентных сетей. Но это уже всё-таки совсем другая история.
#sfu #lectures #dsfrontiers
❤7👍3🔥2
Прошла ещё одна лекция в курсе "Введение в глубокое обучение" в ЮФУ:
ЮФУ — 2026.04.04 — Encoder-decoder и механизмы внимания
(слайды и доска на странице курса)
Сначала обсудили архитектуры типа кодировщик-декодировщик и их очень важный частный случай, автокодировщики. Это главный трюк в глубоком обучении, позволяющий сделать из обучения без учителя обучение с учителем: попробуем сжать вход так, чтобы его можно было из сжатого латентного кода восстановить.
А основная часть лекции была посвящена вниманию. Сначала тому вниманию, которое у людей, даже видео про две команды, пасующие баскетбольный мяч, показал коллегам. А потом механизмам внимания в глубоком обучении: как они сначала появились для того, чтобы сэкономить пиксели на входе, а потом позволили собственно архитектурам типа encoder-decoder решить их главную проблему — невозможно выбрать правильный размер латентного кода, будет или слишком короткий, или слишком длинный.
В следующий раз уже отступать будет некуда, обсудим self-attention и трансформеры!
#sfu #lectures #dsfrontiers
ЮФУ — 2026.04.04 — Encoder-decoder и механизмы внимания
(слайды и доска на странице курса)
Сначала обсудили архитектуры типа кодировщик-декодировщик и их очень важный частный случай, автокодировщики. Это главный трюк в глубоком обучении, позволяющий сделать из обучения без учителя обучение с учителем: попробуем сжать вход так, чтобы его можно было из сжатого латентного кода восстановить.
А основная часть лекции была посвящена вниманию. Сначала тому вниманию, которое у людей, даже видео про две команды, пасующие баскетбольный мяч, показал коллегам. А потом механизмам внимания в глубоком обучении: как они сначала появились для того, чтобы сэкономить пиксели на входе, а потом позволили собственно архитектурам типа encoder-decoder решить их главную проблему — невозможно выбрать правильный размер латентного кода, будет или слишком короткий, или слишком длинный.
В следующий раз уже отступать будет некуда, обсудим self-attention и трансформеры!
#sfu #lectures #dsfrontiers
🔥11❤5👍1
И вот в курсе "Введение в глубокое обучение" в ЮФУ мы наконец-то добрались до самой мякотки:
ЮФУ — 2026.04.09 — Самовнимание и архитектура трансформера
(слайды и доска на странице курса)
Рассмотрели, собственно, трансформер! Начали с общей схемы, с того, из чего состоят слои кодировщика и декодировщика в трансформере.
Потом я попробовал, как водится, замотивировать самовнимание через то, как работает информационный поиск. Честно говоря, я не знаю, как объяснять трансформер лучше, но даже при такой мотивации всё равно, конечно, в итоге получается достаточно абстрактная конструкция. Но хоть и абстрактная, а очень простая по сути! И это, конечно, поразительно, насколько круто работает и масштабируется такая простая идея.
Потом обсудили другие части, внимание в декодере и позиционные вложения. В следующий раз поговорим о том, что на основе трансформера сделали вскоре после его появления.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.04.09 — Самовнимание и архитектура трансформера
(слайды и доска на странице курса)
Рассмотрели, собственно, трансформер! Начали с общей схемы, с того, из чего состоят слои кодировщика и декодировщика в трансформере.
Потом я попробовал, как водится, замотивировать самовнимание через то, как работает информационный поиск. Честно говоря, я не знаю, как объяснять трансформер лучше, но даже при такой мотивации всё равно, конечно, в итоге получается достаточно абстрактная конструкция. Но хоть и абстрактная, а очень простая по сути! И это, конечно, поразительно, насколько круто работает и масштабируется такая простая идея.
Потом обсудили другие части, внимание в декодере и позиционные вложения. В следующий раз поговорим о том, что на основе трансформера сделали вскоре после его появления.
#sfu #lectures #dsfrontiers
❤13👍2🔥1
Последняя лекция в курсе "Введение в глубокое обучение" в ЮФУ продолжала тему трансформеров и раскрывала их с другой стороны:
ЮФУ — 2026.04.16 — Архитектуры, основанные на трансформере
(слайды и доска на странице курса)
Сначала вернулись к исходной архитектуре, обсудили результаты трансформера в "Attention Is All You Need", а потом семейства GPT и BERT. В основном, конечно, BERT, про языковые модели уж потом подробнее обсудим.
А потом рассказал о том, как трансформеры применяли в компьютерном зрении: VisualBERT, потом главное — ViT, потом Swin Transformer. Здесь самое интересное в том, что для применения трансформера не потребовалось вообще ничего менять в архитектуре: трансформер просто оказался потрясающе крутой машиной по выявлению сложных внутренних зависимостей практически в чём угодно.
Ну и закончил на case study про сегментацию (с тем же посылом: часто оказалось достаточно взять U-Net и вставить туда self-attention куда получится) и простых, но важных мультимодальных моделях: CLIP и BLIP.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.04.16 — Архитектуры, основанные на трансформере
(слайды и доска на странице курса)
Сначала вернулись к исходной архитектуре, обсудили результаты трансформера в "Attention Is All You Need", а потом семейства GPT и BERT. В основном, конечно, BERT, про языковые модели уж потом подробнее обсудим.
А потом рассказал о том, как трансформеры применяли в компьютерном зрении: VisualBERT, потом главное — ViT, потом Swin Transformer. Здесь самое интересное в том, что для применения трансформера не потребовалось вообще ничего менять в архитектуре: трансформер просто оказался потрясающе крутой машиной по выявлению сложных внутренних зависимостей практически в чём угодно.
Ну и закончил на case study про сегментацию (с тем же посылом: часто оказалось достаточно взять U-Net и вставить туда self-attention куда получится) и простых, но важных мультимодальных моделях: CLIP и BLIP.
#sfu #lectures #dsfrontiers
🔥10❤7👍4
Наконец-то я дома, и можно продолжать с обычным контентом. На последней лекции в курсе "Введение в глубокое обучение" в ЮФУ (прочитанной из Китая уже в районе полуночи по местному времени) мы начали разговор об обучении с подкреплением:
ЮФУ — 2026.04.23 — Основы RL и многорукие бандиты
(слайды и доска на странице курса)
Это ещё одна тема в машинном обучении, где пусть не всё, но многое можно рассказать на пальцах, не углубляясь в доказательства и не требуя практически никаких пререквизитов.
Так что мы начали с основных идей обучения с подкреплением — что это вообще такое, когда нужно, как ставится основная задача — а потом перешли к первой теме: многоруким бандитам. Это упрощённая постановка задачи, в которой нет никаких состояний, а есть только действия и их ожидаемые выигрыши. И тем не менее, даже в этом гораздо более простом случае возникает масса красивой математики... о которой, впрочем, мы не особенно поговорили, а только наметили основные идеи.
И всё равно мне кажется, что про RL рассказать в таком вводном курсе нужно. Хотя бы объяснить основные постановки задач, а там уже, конечно, в серьёзном ML-образовании курс по обучению с подкреплением желательно послушать отдельный.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.04.23 — Основы RL и многорукие бандиты
(слайды и доска на странице курса)
Это ещё одна тема в машинном обучении, где пусть не всё, но многое можно рассказать на пальцах, не углубляясь в доказательства и не требуя практически никаких пререквизитов.
Так что мы начали с основных идей обучения с подкреплением — что это вообще такое, когда нужно, как ставится основная задача — а потом перешли к первой теме: многоруким бандитам. Это упрощённая постановка задачи, в которой нет никаких состояний, а есть только действия и их ожидаемые выигрыши. И тем не менее, даже в этом гораздо более простом случае возникает масса красивой математики... о которой, впрочем, мы не особенно поговорили, а только наметили основные идеи.
И всё равно мне кажется, что про RL рассказать в таком вводном курсе нужно. Хотя бы объяснить основные постановки задач, а там уже, конечно, в серьёзном ML-образовании курс по обучению с подкреплением желательно послушать отдельный.
#sfu #lectures #dsfrontiers
❤13👍4🔥2🐳2
В курсе "Введение в глубокое обучение" в ЮФУ от бандитов перешли собственно к настоящему обучению с подкреплением:
ЮФУ — 2026.05.07 — Постановки задач RL и уравнения Беллмана
(слайды и доска на странице курса)
Я рассказал в целом обо всей общей постановочной стороне вопроса: что мы делаем (ищем оптимальную стратегию), как мы это пытаемся делать (или напрямую, или через функции значений), как это делать в лоб (решать уравнения Беллмана) и почему в лоб не получается.
На этом месте я почувствовал, что переходить от постановок задач к собственно их решениям всё-таки будет уже тяжеловато для аудитории; напомню, что это вводный обзорный курс ML для первокурсников. Так что закруглился на общих словах о том, какие вообще методы в RL бывают, и надеюсь, что курс об обучении с подкреплением у студентов ЮФУ ещё будет отдельный. Когда-нибудь потом.
Так что в этом курсе я экскурс в RL завершу и буду дальше двигаться обратно к LLM. Зато произошло сближение двух траекторий, и в обычном моём курсе в СПбГУ тоже настало время обучения с подкреплением. Но об этом я уж расскажу отдельно.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.07 — Постановки задач RL и уравнения Беллмана
(слайды и доска на странице курса)
Я рассказал в целом обо всей общей постановочной стороне вопроса: что мы делаем (ищем оптимальную стратегию), как мы это пытаемся делать (или напрямую, или через функции значений), как это делать в лоб (решать уравнения Беллмана) и почему в лоб не получается.
На этом месте я почувствовал, что переходить от постановок задач к собственно их решениям всё-таки будет уже тяжеловато для аудитории; напомню, что это вводный обзорный курс ML для первокурсников. Так что закруглился на общих словах о том, какие вообще методы в RL бывают, и надеюсь, что курс об обучении с подкреплением у студентов ЮФУ ещё будет отдельный. Когда-нибудь потом.
Так что в этом курсе я экскурс в RL завершу и буду дальше двигаться обратно к LLM. Зато произошло сближение двух траекторий, и в обычном моём курсе в СПбГУ тоже настало время обучения с подкреплением. Но об этом я уж расскажу отдельно.
#sfu #lectures #dsfrontiers
🔥8❤3
В курсе "Введение в глубокое обучение" в ЮФУ я перестал рассказывать про обучение с подкреплением и вернулся к основным темам:
ЮФУ — 2026.05.14 — Языковое моделирование
(слайды и доска на странице курса)
Это была лекция о том, что такое языковые модели вообще, в довольно популярном формате, так что всем рекомендую.
Начал от печки: первую языковую модель, как известно, сделал ещё Андрей Андреевич Марков в 1913 году, и следующие девяносто лет языковые модели были в основном марковские, на n-граммах.
В 2000 году Йошуа Бенджи сотоварищи придумали нейросетевые LM и заодно начали осознавать мощь векторных представлений слов, о которых мы тоже поговорили. До word2vec оставалось ещё больше десяти лет, но это уже было по сути именно оно.
А в те времена, когда по планете начал шагать word2vec (2013-2014), стало вполне возможно обучать и рекуррентные языковые модели, и в 2015 появился тот самый пост Андрея Карпатого "The Unreasonable Effectiveness of Recurrent Neural Networks", который мы тоже обсудили.
Ну и дальше, конечно, мы перешли к LLM на трансформерах. О самих трансформерах мы говорили подробно раньше, так что в этой лекции обсудил дообучение: RLHF (вот и обучение с подкреплением пригодилось), PEFT в виде адаптеров и конкретно LoRA.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.14 — Языковое моделирование
(слайды и доска на странице курса)
Это была лекция о том, что такое языковые модели вообще, в довольно популярном формате, так что всем рекомендую.
Начал от печки: первую языковую модель, как известно, сделал ещё Андрей Андреевич Марков в 1913 году, и следующие девяносто лет языковые модели были в основном марковские, на n-граммах.
В 2000 году Йошуа Бенджи сотоварищи придумали нейросетевые LM и заодно начали осознавать мощь векторных представлений слов, о которых мы тоже поговорили. До word2vec оставалось ещё больше десяти лет, но это уже было по сути именно оно.
А в те времена, когда по планете начал шагать word2vec (2013-2014), стало вполне возможно обучать и рекуррентные языковые модели, и в 2015 появился тот самый пост Андрея Карпатого "The Unreasonable Effectiveness of Recurrent Neural Networks", который мы тоже обсудили.
Ну и дальше, конечно, мы перешли к LLM на трансформерах. О самих трансформерах мы говорили подробно раньше, так что в этой лекции обсудил дообучение: RLHF (вот и обучение с подкреплением пригодилось), PEFT в виде адаптеров и конкретно LoRA.
#sfu #lectures #dsfrontiers
🔥10❤3
Потихоньку движемся к концу в курсе "Введение в глубокое обучение" в ЮФУ. Вот уже добрался до относительно недавних новостей:
ЮФУ — 2026.05.21 — Законы масштабирования, CoT и рассуждающие модели
(слайды на странице курса)
Законы масштабирования в каком-то смысле породили современные LLM. Речь здесь не о законе Мура и сопутствующих (с которых я начал лекцию), а об эмпирических зависимостях, которые связывают переменные вроде вычислительного бюджета, объёма данных для обучения и итоговой ошибки на тестовом множестве. Люди находили такие зависимости ещё до трансформеров, но именно OpenAI смогла в них по-настоящему поверить и сделать огромную ставку на то, что они продолжатся на два порядка вперёд, то есть начать обучать сначала GPT-3, а потом и GPT-4. И эта ставка, как мы знаем, блестяще сыграла.
А во второй части рассказал про chain-of-thought методы и о том, как они привели к современным рассуждающим моделям. Это был, пожалуй, последний на данный момент большой скачок именно в интеллекте базовых моделей (последние новости скорее о том, как делать для них разные агентские обвязки). И всё это поражает тем, насколько всё это по сути просто: я вот взял и объяснил, и думаю, что слушатели поняли, а это ведь передний край полуторагодичной давности. Конечно, там скрыт большой слой нетривиальной инженерии, о котором мы не говорили, но всё равно базовые идеи в глубоком обучении часто действительно можно взять и объяснить на пальцах.
Остались у нас в этом курсе, наверное, примерно две встречи; скорее всего, уже будем разговаривать о capabilities и о том, куда всё катится...
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.21 — Законы масштабирования, CoT и рассуждающие модели
(слайды на странице курса)
Законы масштабирования в каком-то смысле породили современные LLM. Речь здесь не о законе Мура и сопутствующих (с которых я начал лекцию), а об эмпирических зависимостях, которые связывают переменные вроде вычислительного бюджета, объёма данных для обучения и итоговой ошибки на тестовом множестве. Люди находили такие зависимости ещё до трансформеров, но именно OpenAI смогла в них по-настоящему поверить и сделать огромную ставку на то, что они продолжатся на два порядка вперёд, то есть начать обучать сначала GPT-3, а потом и GPT-4. И эта ставка, как мы знаем, блестяще сыграла.
А во второй части рассказал про chain-of-thought методы и о том, как они привели к современным рассуждающим моделям. Это был, пожалуй, последний на данный момент большой скачок именно в интеллекте базовых моделей (последние новости скорее о том, как делать для них разные агентские обвязки). И всё это поражает тем, насколько всё это по сути просто: я вот взял и объяснил, и думаю, что слушатели поняли, а это ведь передний край полуторагодичной давности. Конечно, там скрыт большой слой нетривиальной инженерии, о котором мы не говорили, но всё равно базовые идеи в глубоком обучении часто действительно можно взять и объяснить на пальцах.
Остались у нас в этом курсе, наверное, примерно две встречи; скорее всего, уже будем разговаривать о capabilities и о том, куда всё катится...
#sfu #lectures #dsfrontiers
❤12🔥4
Всё, преподавание заканчивается. Вот последняя лекция из курса "Введение в глубокое обучение" в ЮФУ:
ЮФУ — 2026.05.28 — Фронтиры возможностей AI-моделей
(слайды на странице курса)
Это была уже, конечно, лекция обзорная и без математического содержания. Зато, надеюсь, интересная, примерно как мои обычные State of AI. Начал с ускоряющегося прогресса и текущего фронтира LLM. Потом рассказал о Situational Awareness Ашенбреннера: содержательная часть здесь в том, что там прогресс удачно разделён на три части (физическую, алгоритмическую и unhobbling), и это очень полезно понимать.
Потом через краткий обзор некоторых областей применений (роботы, картинки, видео) добрался до программирования и LLM-based агентов, Claude Code и всё такое прочее. А закончил, разумеется на AI в математике, и как раз символично получилось, что курс закончился на новости от 20 мая 2026 года.
Я сначала анонсировал, что будет ещё одна лекция про AI Safety, но потом выяснилось, что больше лекций в этом курсе уже не будет. Так что желающим всё-таки послушать простое и тревожное введение в AI Safety рекомендую "AI safety в начале 2026 года" с моей странички "Выступления"; это был рассказ для школьников в "Сириусе", так что ничего технически сложного там не было, а вот интересного было, надеюсь, много.
Спасибо всем, кто слушал, и, надеюсь, до новых встреч!
#sfu #lectures #dsfrontiers
ЮФУ — 2026.05.28 — Фронтиры возможностей AI-моделей
(слайды на странице курса)
Это была уже, конечно, лекция обзорная и без математического содержания. Зато, надеюсь, интересная, примерно как мои обычные State of AI. Начал с ускоряющегося прогресса и текущего фронтира LLM. Потом рассказал о Situational Awareness Ашенбреннера: содержательная часть здесь в том, что там прогресс удачно разделён на три части (физическую, алгоритмическую и unhobbling), и это очень полезно понимать.
Потом через краткий обзор некоторых областей применений (роботы, картинки, видео) добрался до программирования и LLM-based агентов, Claude Code и всё такое прочее. А закончил, разумеется на AI в математике, и как раз символично получилось, что курс закончился на новости от 20 мая 2026 года.
Я сначала анонсировал, что будет ещё одна лекция про AI Safety, но потом выяснилось, что больше лекций в этом курсе уже не будет. Так что желающим всё-таки послушать простое и тревожное введение в AI Safety рекомендую "AI safety в начале 2026 года" с моей странички "Выступления"; это был рассказ для школьников в "Сириусе", так что ничего технически сложного там не было, а вот интересного было, надеюсь, много.
Спасибо всем, кто слушал, и, надеюсь, до новых встреч!
#sfu #lectures #dsfrontiers
7👍26🔥10❤5😭1🤓1
И ещё один курс начался! Как и в прошлом году, я продолжаю преподавать в Южном федеральном университете, где задача состоит в том, чтобы рассказать о машинном обучении на первом курсе, ещё до всякого теорвера и даже, формально говоря, до матанализа.
В этом году мы решили начать с глубокого обучения, потому что оно действительно требует меньше математической подготовки (если не углубляться в фундаментальные основы). Вот страничка нового курса:
Технологии и фронтиры науки о данных — ЮФУ, осень 2026
Впрочем, хоть это и будет про нейросети, я всё равно начал с истории и общего введения в то, что такое искусственный интеллект; это популярная часть, для которой вообще никакой математики не надо. Первая лекция:
ЮФУ — 2026.09.07 — Что такое AI? Введение, терминология, типы данных и задач
(слайды на странице курса)
Это был очень интересный и необычный опыт, потому что на первую лекцию пришли более 600 (!!!) человек, и вы, наверное, догадываетесь, во что превратился чат нашей конференции. Разумеется, в эфир голосом слушателей не пускали, но и чата мне более чем хватило.)
Поэтому, хотя я в целом вроде справился и что-то даже содержательное рассказал, смотреть запись лекции, наверное, будет сложно: там много ответов на вопросы, которых вы в записи не увидите, и реакций на комментарии, которых тоже нет. Но для коллег из ЮФУ записи, надеюсь, будут всё-таки полезны, так что выкладывать буду в любом случае.
Но и в целом мне понравилось! Это было круто, необычно, местами очень смешно и интересно. Надеюсь, слушатели продолжат приходить в таких же количествах, и мы вместе пройдём этот путь к пресловутым "фронтирам науки о данных" так далеко, как сможем за семестр!
#sfu #lectures #dsfrontiers
В этом году мы решили начать с глубокого обучения, потому что оно действительно требует меньше математической подготовки (если не углубляться в фундаментальные основы). Вот страничка нового курса:
Технологии и фронтиры науки о данных — ЮФУ, осень 2026
Впрочем, хоть это и будет про нейросети, я всё равно начал с истории и общего введения в то, что такое искусственный интеллект; это популярная часть, для которой вообще никакой математики не надо. Первая лекция:
ЮФУ — 2026.09.07 — Что такое AI? Введение, терминология, типы данных и задач
(слайды на странице курса)
Это был очень интересный и необычный опыт, потому что на первую лекцию пришли более 600 (!!!) человек, и вы, наверное, догадываетесь, во что превратился чат нашей конференции. Разумеется, в эфир голосом слушателей не пускали, но и чата мне более чем хватило.)
Поэтому, хотя я в целом вроде справился и что-то даже содержательное рассказал, смотреть запись лекции, наверное, будет сложно: там много ответов на вопросы, которых вы в записи не увидите, и реакций на комментарии, которых тоже нет. Но для коллег из ЮФУ записи, надеюсь, будут всё-таки полезны, так что выкладывать буду в любом случае.
Но и в целом мне понравилось! Это было круто, необычно, местами очень смешно и интересно. Надеюсь, слушатели продолжат приходить в таких же количествах, и мы вместе пройдём этот путь к пресловутым "фронтирам науки о данных" так далеко, как сможем за семестр!
#sfu #lectures #dsfrontiers
🔥22❤12👍1👏1
В курсе "Технологии и фронтиры науки о данных" в ЮФУ прошла вторая лекция:
ЮФУ — 2026.09.14 — История AI как идеи и как науки
(слайды и доска на странице курса)
Сначала немного разобрались с постановками задач машинного обучения, а потом отправились в далёкое прошлое: к Талосу и големам, механическим автоматам, Лейбницу, Бэббиджу и роботам в литературе. Люди хотели создать кого-нибудь разумного задолго до того, как у них появились компьютеры, и опасаться последствий тоже начали заранее.
Затем мы добрались до AI как науки: кибернетики Винера, модели нейрона Маккаллоха — Питтса, Дартмутского семинара и перцептрона Розенблатта. Отдельно и довольно подробно поговорили о Тьюринге: он занимался далеко не только своими всем известными машиной и тестом. Но и про сам тест Тьюринга было что обсудить.
Ключевой вопрос из эссе Тьюринга — "может ли машина мыслить?" — с появлением современных LLM только получил новых участников спора. Всем рекомендую, кстати, прочитать аргументы Тьюринга из 1950 года и узнать в них сегодняшние разговоры о том, "понимает" ли модель то, что говорит.
Дальше поговорим о тех разделах AI, которые в курсе обсуждать подробно не будем, ну а потом пора будет наконец переходить к нейросетям и тому, как они устроены.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.14 — История AI как идеи и как науки
(слайды и доска на странице курса)
Сначала немного разобрались с постановками задач машинного обучения, а потом отправились в далёкое прошлое: к Талосу и големам, механическим автоматам, Лейбницу, Бэббиджу и роботам в литературе. Люди хотели создать кого-нибудь разумного задолго до того, как у них появились компьютеры, и опасаться последствий тоже начали заранее.
Затем мы добрались до AI как науки: кибернетики Винера, модели нейрона Маккаллоха — Питтса, Дартмутского семинара и перцептрона Розенблатта. Отдельно и довольно подробно поговорили о Тьюринге: он занимался далеко не только своими всем известными машиной и тестом. Но и про сам тест Тьюринга было что обсудить.
Ключевой вопрос из эссе Тьюринга — "может ли машина мыслить?" — с появлением современных LLM только получил новых участников спора. Всем рекомендую, кстати, прочитать аргументы Тьюринга из 1950 года и узнать в них сегодняшние разговоры о том, "понимает" ли модель то, что говорит.
Дальше поговорим о тех разделах AI, которые в курсе обсуждать подробно не будем, ну а потом пора будет наконец переходить к нейросетям и тому, как они устроены.
#sfu #lectures #dsfrontiers
🔥12❤9👍6👏1
Насколько сложной должна быть программа, чтобы человек захотел поговорить с ней по душам? ELIZA показала, что даже очень наивной основанной на паре сотен правил системы может быть достаточно, если сам человек будет готов увидеть собеседника:
ЮФУ — 2026.09.21 — Ранние AI-системы и начало нейросетей
(слайды на странице курса)
В новой лекции ЮФУ поговорили о первых системах AI: прувере Logic Theorist, роботе Shakey, ELIZA и SHRDLU. Вспомнили большие надежды на машинный перевод, зиму AI и экспертные системы; можно ли записать знания врача в виде правил и как вообще представить знания так, чтобы компьютер мог ими пользоваться?
Некоторые сюжеты звучат весьма современно: эмоциональная привязанность к программе, завышенные ожидания и попытки соединить язык со знанием о мире. Графы знаний тоже в наше время пока ещё никуда не исчезли — в лекции обсудили их связь с языковыми моделями. А в конце перешли к биологическому нейрону и вопросу о том, как мозг с его крайне невысокой "тактовой частотой" успевает быть таким умным.
Дальше будем переходить к сути того, как работают нейросети. Напоминаю, что это курс для первокурсников, то есть фактически популярные лекции, не проходите мимо.)
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.21 — Ранние AI-системы и начало нейросетей
(слайды на странице курса)
В новой лекции ЮФУ поговорили о первых системах AI: прувере Logic Theorist, роботе Shakey, ELIZA и SHRDLU. Вспомнили большие надежды на машинный перевод, зиму AI и экспертные системы; можно ли записать знания врача в виде правил и как вообще представить знания так, чтобы компьютер мог ими пользоваться?
Некоторые сюжеты звучат весьма современно: эмоциональная привязанность к программе, завышенные ожидания и попытки соединить язык со знанием о мире. Графы знаний тоже в наше время пока ещё никуда не исчезли — в лекции обсудили их связь с языковыми моделями. А в конце перешли к биологическому нейрону и вопросу о том, как мозг с его крайне невысокой "тактовой частотой" успевает быть таким умным.
Дальше будем переходить к сути того, как работают нейросети. Напоминаю, что это курс для первокурсников, то есть фактически популярные лекции, не проходите мимо.)
#sfu #lectures #dsfrontiers
❤16👍6🔥3😍2
Сети из линейных нейронов не имеют смысла, но одни нелинейные функции помогают сети учиться, а другие обучение останавливают. Поговорили о том, как устроены нейросети, в популярных лекциях в ЮФУ:
ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)
Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.
Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.
Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.
В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)
Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.
Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.
Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.
В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.
#sfu #lectures #dsfrontiers
👍9❤8🔥6
А вот контент совсем новый, которого раньше в моих лекциях не было. В курсе "Технологии и фронтиры науки о данных" в ЮФУ я на прошлой лекции в конце заметил, что разговор об одном нейроне прошёл вроде бы хорошо, но слушатели совсем потерялись, когда я перешёл к сетям и начал говорить об оптимизации, функциях ошибки и вообще о том, что технически значит "обучение".
Поэтому лекцию в понедельник я сделал совсем новую. Постарался рассказать о том, что такое "обучение AI-модели", в самых-самых простых словах, начиная от печки:
ЮФУ — 2026.10.05 — Как обучаются модели машинного обучения
(слайды и доска на странице курса)
Первая задача обучения в этой лекции звучит буквально так. Предположим, что вы начали работать в копицентре, но вам забыли выдать прайс-лист. Зато на столе лежат три вчерашних чека: в первом за одну страницу распечатки заплатили 30 рублей, во втором 60 рублей за две, в третьем — 90 рублей за три. Какое, на ваш взгляд, здесь правило ценообразования?
И вот от этого вопроса мы начали потихоньку разворачивать основные понятия машинного обучения: чем inference отличается от learning, что такое функция ошибки, как выглядит эта задача с двумя параметрами (условная цена за оформление заказа), как данным соответствует много разных моделей (к 30x можно же прибавить 10(x-1)(x-2)(x-3), сохраняя нулевую ошибку), как работает локальный поиск параметров, почему бы их просто не перебрать...
Дошли, в целом, до понятия градиентного спуска; в следующий раз попробую уже всё-таки на нейросети этот разговор спроецировать.
Это был очень новый для меня педагогический опыт, так что, наверное, объяснял я не идеально, но кажется, что получилось интересно, и студенты тоже в итоге сказали, что "шестерёнки в голове начали вращаться". Так что если вам интересно узнать, что такое машинное обучение, но у вас нет никакой подготовки в этой области, попробуйте, вдруг зайдёт.)
#sfu #lectures #dsfrontiers
Поэтому лекцию в понедельник я сделал совсем новую. Постарался рассказать о том, что такое "обучение AI-модели", в самых-самых простых словах, начиная от печки:
ЮФУ — 2026.10.05 — Как обучаются модели машинного обучения
(слайды и доска на странице курса)
Первая задача обучения в этой лекции звучит буквально так. Предположим, что вы начали работать в копицентре, но вам забыли выдать прайс-лист. Зато на столе лежат три вчерашних чека: в первом за одну страницу распечатки заплатили 30 рублей, во втором 60 рублей за две, в третьем — 90 рублей за три. Какое, на ваш взгляд, здесь правило ценообразования?
И вот от этого вопроса мы начали потихоньку разворачивать основные понятия машинного обучения: чем inference отличается от learning, что такое функция ошибки, как выглядит эта задача с двумя параметрами (условная цена за оформление заказа), как данным соответствует много разных моделей (к 30x можно же прибавить 10(x-1)(x-2)(x-3), сохраняя нулевую ошибку), как работает локальный поиск параметров, почему бы их просто не перебрать...
Дошли, в целом, до понятия градиентного спуска; в следующий раз попробую уже всё-таки на нейросети этот разговор спроецировать.
Это был очень новый для меня педагогический опыт, так что, наверное, объяснял я не идеально, но кажется, что получилось интересно, и студенты тоже в итоге сказали, что "шестерёнки в голове начали вращаться". Так что если вам интересно узнать, что такое машинное обучение, но у вас нет никакой подготовки в этой области, попробуйте, вдруг зайдёт.)
#sfu #lectures #dsfrontiers
❤17❤🔥7👍5🥰4
Ох, коллеги, совсем забыл вам лекцию-то выложить сегодня. А мы ведь продолжаем в ЮФУ объяснение основных понятий машинного обучения совсем на пальцах,
И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:
ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)
Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.
В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.
Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.
На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.
#sfu #lectures #dsfrontiers
И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:
ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)
Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.
В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.
Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.
На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.
#sfu #lectures #dsfrontiers
❤9👍6😍3🥰1🍓1