А вот контент совсем новый, которого раньше в моих лекциях не было. В курсе "Технологии и фронтиры науки о данных" в ЮФУ я на прошлой лекции в конце заметил, что разговор об одном нейроне прошёл вроде бы хорошо, но слушатели совсем потерялись, когда я перешёл к сетям и начал говорить об оптимизации, функциях ошибки и вообще о том, что технически значит "обучение".
Поэтому лекцию в понедельник я сделал совсем новую. Постарался рассказать о том, что такое "обучение AI-модели", в самых-самых простых словах, начиная от печки:
ЮФУ — 2026.10.05 — Как обучаются модели машинного обучения
(слайды и доска на странице курса)
Первая задача обучения в этой лекции звучит буквально так. Предположим, что вы начали работать в копицентре, но вам забыли выдать прайс-лист. Зато на столе лежат три вчерашних чека: в первом за одну страницу распечатки заплатили 30 рублей, во втором 60 рублей за две, в третьем — 90 рублей за три. Какое, на ваш взгляд, здесь правило ценообразования?
И вот от этого вопроса мы начали потихоньку разворачивать основные понятия машинного обучения: чем inference отличается от learning, что такое функция ошибки, как выглядит эта задача с двумя параметрами (условная цена за оформление заказа), как данным соответствует много разных моделей (к 30x можно же прибавить 10(x-1)(x-2)(x-3), сохраняя нулевую ошибку), как работает локальный поиск параметров, почему бы их просто не перебрать...
Дошли, в целом, до понятия градиентного спуска; в следующий раз попробую уже всё-таки на нейросети этот разговор спроецировать.
Это был очень новый для меня педагогический опыт, так что, наверное, объяснял я не идеально, но кажется, что получилось интересно, и студенты тоже в итоге сказали, что "шестерёнки в голове начали вращаться". Так что если вам интересно узнать, что такое машинное обучение, но у вас нет никакой подготовки в этой области, попробуйте, вдруг зайдёт.)
#sfu #lectures #dsfrontiers
Поэтому лекцию в понедельник я сделал совсем новую. Постарался рассказать о том, что такое "обучение AI-модели", в самых-самых простых словах, начиная от печки:
ЮФУ — 2026.10.05 — Как обучаются модели машинного обучения
(слайды и доска на странице курса)
Первая задача обучения в этой лекции звучит буквально так. Предположим, что вы начали работать в копицентре, но вам забыли выдать прайс-лист. Зато на столе лежат три вчерашних чека: в первом за одну страницу распечатки заплатили 30 рублей, во втором 60 рублей за две, в третьем — 90 рублей за три. Какое, на ваш взгляд, здесь правило ценообразования?
И вот от этого вопроса мы начали потихоньку разворачивать основные понятия машинного обучения: чем inference отличается от learning, что такое функция ошибки, как выглядит эта задача с двумя параметрами (условная цена за оформление заказа), как данным соответствует много разных моделей (к 30x можно же прибавить 10(x-1)(x-2)(x-3), сохраняя нулевую ошибку), как работает локальный поиск параметров, почему бы их просто не перебрать...
Дошли, в целом, до понятия градиентного спуска; в следующий раз попробую уже всё-таки на нейросети этот разговор спроецировать.
Это был очень новый для меня педагогический опыт, так что, наверное, объяснял я не идеально, но кажется, что получилось интересно, и студенты тоже в итоге сказали, что "шестерёнки в голове начали вращаться". Так что если вам интересно узнать, что такое машинное обучение, но у вас нет никакой подготовки в этой области, попробуйте, вдруг зайдёт.)
#sfu #lectures #dsfrontiers
❤17❤🔥8👍5🥰4
Сегодня у нас сразу три мини-обзора на пять игр, если считать трилогию по частям. И все очень маленькие. В Steam была распродажа Playism, я взял очень дешёвый бандл с кучей мини-игр, несколько прошёл, и некоторые даже понравились:
Мини-игры от Playism: 7 Days to End With You, Awareness Rooms, Star Sky 1–3
(и вот пост на DTF)
Playism — издательская марка осакской компании Active Gaming Media, существует с 2011 года. Придумана она была для того, чтобы возить японские додзин-игры на Запад, а западные инди — в Японию, и за пятнадцать лет через неё прошло больше полутора сотен игр, в том числе La-Mulana, Momodora, Omori (на консолях), Bright Memory, локализация Yume Nikki. Всё это широко известные тайтлы. Но рядом в каталоге лежит куча маленьких игр по сто-двести рублей, которые в распродажу можно взять охапкой не глядя.
7 Days to End With You
Начну с лучшего. 7 Days to End With You — игра японского разработчика-одиночки lizardry, вышла в 2022 году. И это очень крутая головоломка.
Завязка такая: вы открываете глаза в незнакомой комнате, ничего не помните, а рядом с кроватью стоит незнакомка с красными волосами и что-то говорит. И вы не понимаете ни слова — не в переносном смысле, а буквально: весь текст в игре написан на выдуманном языке из закорючек. Игра честно предупреждает на первом же экране: “вы наблюдатель этой истории”, “вы вольны понимать слова, которые читаете, как хотите”, “мир изменится в зависимости от вашего понимания”. [...]
Сначала мне вообще показалось, что это лингвистическая игра вроде Chants of Sennaar, где надо расшифровывать довольно разные между собой языки (о ней я вам обязательно расскажу, когда доиграю до конца). Потом всё-таки оказалось, что это не так, но спойлерить не буду, тут по сути вся игра про две догадки, и их, конечно, лучше сделать самому.
В общем, для такой маленькой игры очень круто. Лучшей рекомендацией будет, наверное, вот что: это первая игра за много лет, для которой я на полном серьёзе взялся за лист бумаги и карандаш.
Awareness Rooms
Awareness Rooms — совсем крохотная головоломка 2016 года, где-то на час геймплея. Сделал её тоже один человек, японец под ником BomB; по его словам, работал по выходным, в качестве хобби. Автор называет основными референсами Yume Nikki и The Room; оно и видно.
В игре есть некая свежая идея. [...] Правда, вот как раз эта идея не очень-то хорошо оказалась проработана. [...]
Зато загадки очень классные: изобретательные и не заезженные, играть было интересно. Комнат всего пять плюс нулевая обучающая, они действительно разнообразные и там очень даже есть о чём поразмыслить. Рекомендую!
Star Sky 1–3
Star Sky, Star Sky 2 и Star Sky 3 — трилогия шведа Мортена Йонссона, выходившая с 2015 по 2018 год; это проекты из разряда того, что называется медитативным опытом. Человек-силуэт идёт по ночному полю слева направо; над ним луна, звёзды, деревья; иногда идёт дождь, иногда пролетает комета. Всё, что от вас требуется, — идти и в некоторых местах останавливаться: постоишь под деревом — прилетит птица, постоишь на мосту — встретишь женщину, постоишь под дождём — появится радуга. [...]
Сделано на первый взгляд красиво и стильно, но по сути мне совсем не понравилось. Я пробежался по всем трём частям, суммарно примерно за час, все события, конечно, не выбивал — и так и не понял, что тут, собственно, происходит и зачем мне в этом разбираться. Никакой истории здесь, кажется, нет; никакого геймплея, кроме “остановиться или пройти мимо”, тоже. Не моё.
Заключение
Итого я совсем не пожалел, что потратил рублей сто-двести на весь этот бандл. 7 Days to End With You — очень рекомендую, крутая небольшая головоломка. Awareness Rooms — тоже рекомендую, часок проведёте с удовольствием. А вот Star Sky на любителя, и я не он.
#tgif #games
Мини-игры от Playism: 7 Days to End With You, Awareness Rooms, Star Sky 1–3
(и вот пост на DTF)
Playism — издательская марка осакской компании Active Gaming Media, существует с 2011 года. Придумана она была для того, чтобы возить японские додзин-игры на Запад, а западные инди — в Японию, и за пятнадцать лет через неё прошло больше полутора сотен игр, в том числе La-Mulana, Momodora, Omori (на консолях), Bright Memory, локализация Yume Nikki. Всё это широко известные тайтлы. Но рядом в каталоге лежит куча маленьких игр по сто-двести рублей, которые в распродажу можно взять охапкой не глядя.
7 Days to End With You
Начну с лучшего. 7 Days to End With You — игра японского разработчика-одиночки lizardry, вышла в 2022 году. И это очень крутая головоломка.
Завязка такая: вы открываете глаза в незнакомой комнате, ничего не помните, а рядом с кроватью стоит незнакомка с красными волосами и что-то говорит. И вы не понимаете ни слова — не в переносном смысле, а буквально: весь текст в игре написан на выдуманном языке из закорючек. Игра честно предупреждает на первом же экране: “вы наблюдатель этой истории”, “вы вольны понимать слова, которые читаете, как хотите”, “мир изменится в зависимости от вашего понимания”. [...]
Сначала мне вообще показалось, что это лингвистическая игра вроде Chants of Sennaar, где надо расшифровывать довольно разные между собой языки (о ней я вам обязательно расскажу, когда доиграю до конца). Потом всё-таки оказалось, что это не так, но спойлерить не буду, тут по сути вся игра про две догадки, и их, конечно, лучше сделать самому.
В общем, для такой маленькой игры очень круто. Лучшей рекомендацией будет, наверное, вот что: это первая игра за много лет, для которой я на полном серьёзе взялся за лист бумаги и карандаш.
Awareness Rooms
Awareness Rooms — совсем крохотная головоломка 2016 года, где-то на час геймплея. Сделал её тоже один человек, японец под ником BomB; по его словам, работал по выходным, в качестве хобби. Автор называет основными референсами Yume Nikki и The Room; оно и видно.
В игре есть некая свежая идея. [...] Правда, вот как раз эта идея не очень-то хорошо оказалась проработана. [...]
Зато загадки очень классные: изобретательные и не заезженные, играть было интересно. Комнат всего пять плюс нулевая обучающая, они действительно разнообразные и там очень даже есть о чём поразмыслить. Рекомендую!
Star Sky 1–3
Star Sky, Star Sky 2 и Star Sky 3 — трилогия шведа Мортена Йонссона, выходившая с 2015 по 2018 год; это проекты из разряда того, что называется медитативным опытом. Человек-силуэт идёт по ночному полю слева направо; над ним луна, звёзды, деревья; иногда идёт дождь, иногда пролетает комета. Всё, что от вас требуется, — идти и в некоторых местах останавливаться: постоишь под деревом — прилетит птица, постоишь на мосту — встретишь женщину, постоишь под дождём — появится радуга. [...]
Сделано на первый взгляд красиво и стильно, но по сути мне совсем не понравилось. Я пробежался по всем трём частям, суммарно примерно за час, все события, конечно, не выбивал — и так и не понял, что тут, собственно, происходит и зачем мне в этом разбираться. Никакой истории здесь, кажется, нет; никакого геймплея, кроме “остановиться или пройти мимо”, тоже. Не моё.
Заключение
Итого я совсем не пожалел, что потратил рублей сто-двести на весь этот бандл. 7 Days to End With You — очень рекомендую, крутая небольшая головоломка. Awareness Rooms — тоже рекомендую, часок проведёте с удовольствием. А вот Star Sky на любителя, и я не он.
#tgif #games
❤10👍3👀3🔥1👻1👾1
Почему свёрточная сеть не похожа на мозг, хотя её придумали по мотивам зрительной коры? В чём главный бонус от свёрток и почему у нас в голове так не получается? И какие ещё идеи, возникшие в свёрточных архитектурах, стоит понимать и в наши дни? Об этом в следующих лекциях в курсе глубокого обучения в ИТМО:
ИТМО — 2026.10.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В этой сдвоенной лекции сначала разбираемся, что позволяет вообще обучать глубокую сеть: откуда берутся инициализация Ксавье и нормализация по мини-батчам, почему градиенты затухают и как с этим бороться. Потом переходим от опытов Хьюбела и Визеля к свёрткам: считаем размеры тензоров и число весов, рисуем receptive field, pooling, padding и stride. На примере LeNet хорошо видно, как миллионы потенциальных параметров превращаются в сотни, а локальные признаки постепенно становятся глобальными.
Во второй части идём по архитектурным идеям от AlexNet и VGG до Inception, ResNet и EfficientNet: маленькие свёртки вместо больших, подсети внутри сети, остаточные связи, узкие горлышки и параллельные ветви обработки. Этот материал давно вышел за пределы классического компьютерного зрения: остаточные связи и слои нормализации работают и в современных трансформерах. Свёрточные сети, кстати, тоже продолжают жить, хотя. конечно, до последних новостей мы здесь не добрались.
#lectures #itmo #dl2026
ИТМО — 2026.10.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В этой сдвоенной лекции сначала разбираемся, что позволяет вообще обучать глубокую сеть: откуда берутся инициализация Ксавье и нормализация по мини-батчам, почему градиенты затухают и как с этим бороться. Потом переходим от опытов Хьюбела и Визеля к свёрткам: считаем размеры тензоров и число весов, рисуем receptive field, pooling, padding и stride. На примере LeNet хорошо видно, как миллионы потенциальных параметров превращаются в сотни, а локальные признаки постепенно становятся глобальными.
Во второй части идём по архитектурным идеям от AlexNet и VGG до Inception, ResNet и EfficientNet: маленькие свёртки вместо больших, подсети внутри сети, остаточные связи, узкие горлышки и параллельные ветви обработки. Этот материал давно вышел за пределы классического компьютерного зрения: остаточные связи и слои нормализации работают и в современных трансформерах. Свёрточные сети, кстати, тоже продолжают жить, хотя. конечно, до последних новостей мы здесь не добрались.
#lectures #itmo #dl2026
❤12👍6🔥3❤🔥1🥰1😍1
Следующий доклад на семинаре лаборатории Маркова опять внутренний, но от этого не менее интересный:
Методы эвристического поиска и машинного обучения для решения головоломок
Ссылка на трансляцию (среда 14 октября, 13:40)
Александр Ананикян, Даниил Дроздов
(Лаборатория Маркова, СПбГУ)
С появлением ARC-AGI наука о решении головоломок разгерметизировалась. Теперь это не только развлечение для энтузиастов, но и важный бенчмарк для LLM. Однако прежде чем проверять интеллект на головоломках, неплохо бы разобраться, как их вообще решать.
В докладе мы дадим обзор современных подходов к решению кубика Рубика, познакомимся с PushWorld — головоломкой от DeepMind, в которой нужно толкать объекты к заданным целям, — и расскажем, как решали эти головоломки в рамках своих дипломных работ.
#markovlab #seminar #spsu
Методы эвристического поиска и машинного обучения для решения головоломок
Ссылка на трансляцию (среда 14 октября, 13:40)
Александр Ананикян, Даниил Дроздов
(Лаборатория Маркова, СПбГУ)
С появлением ARC-AGI наука о решении головоломок разгерметизировалась. Теперь это не только развлечение для энтузиастов, но и важный бенчмарк для LLM. Однако прежде чем проверять интеллект на головоломках, неплохо бы разобраться, как их вообще решать.
В докладе мы дадим обзор современных подходов к решению кубика Рубика, познакомимся с PushWorld — головоломкой от DeepMind, в которой нужно толкать объекты к заданным целям, — и расскажем, как решали эти головоломки в рамках своих дипломных работ.
#markovlab #seminar #spsu
🔥11❤6👍3
Как заставить нейросеть сначала закрасить силуэт панды на фотографии, а потом уверенно увидеть в ней гиббона? В курсе "Глубокое обучение" в СПбГУ на прошлой неделе была сдвоенная лекция (потому что в эту пятницу я уезжал, так что, может, даже какой-нибудь не-лекционный пост или лишний обзор игры найдётся для вас на следующей неделе):
СПбГУ — 2026.10.02 — Сегментация и рекуррентные сети
(слайды и доска на странице курса)
В лекции мы сначала переходим от прямоугольников вокруг объектов к попиксельным маскам: FCN, U-Net, Mask R-CNN и несколько способов не растерять точную геометрию картинки. У идеи U-Net оказалась долгая жизнь: энкодер, декодер и связи между ними сохраняются и в моделях, где свёртки заменяют механизмами внимания.
Затем разбираемся, как почти незаметная добавка к изображению может кардинально изменить ответ сети и почему такие состязательные примеры можно использовать для обучения.
А вторая лекция была посвящена рекуррентным сетям. Мы выяснили, почему им трудно помнить далёкое прошлое, а потом представили возможные решения этой проблемы. LSTM становится гораздо понятнее, если видеть в нём контроллер памяти: один гейт стирает из памяти, другой записывает, третий решает, что прочитать. Мы сравнили его с GRU и обсудили, почему попытки сэкономить на матрицах так и не сделали LSTM ненужным.
Впереди уже механизмы внимания, а там и великий и ужасный трансформер!
#spsu #dl2026 #lectures
СПбГУ — 2026.10.02 — Сегментация и рекуррентные сети
(слайды и доска на странице курса)
В лекции мы сначала переходим от прямоугольников вокруг объектов к попиксельным маскам: FCN, U-Net, Mask R-CNN и несколько способов не растерять точную геометрию картинки. У идеи U-Net оказалась долгая жизнь: энкодер, декодер и связи между ними сохраняются и в моделях, где свёртки заменяют механизмами внимания.
Затем разбираемся, как почти незаметная добавка к изображению может кардинально изменить ответ сети и почему такие состязательные примеры можно использовать для обучения.
А вторая лекция была посвящена рекуррентным сетям. Мы выяснили, почему им трудно помнить далёкое прошлое, а потом представили возможные решения этой проблемы. LSTM становится гораздо понятнее, если видеть в нём контроллер памяти: один гейт стирает из памяти, другой записывает, третий решает, что прочитать. Мы сравнили его с GRU и обсудили, почему попытки сэкономить на матрицах так и не сделали LSTM ненужным.
Впереди уже механизмы внимания, а там и великий и ужасный трансформер!
#spsu #dl2026 #lectures
❤10👍5🔥3👀2
Friends, Romans, countrymen!
Вас уже не совсем с синекурин нос, и даже слегка побольше, чем Майлз наплакал, сожалея об утраченном.
Отмечаю целую хабару подписчиков! Большое спасибо Ире за тортик и заботу, но главное всё-таки спасибо вам — за то, что вы есть! Ура!
Хотел было пожелать сам себе, чтобы в скором времени уже было бессмысленно отмечать каждую тысячу подписчиков, а отмечали бы только каждые 5К или 10К. Но, если честно, не уверен, что я этого на самом деле хочу. Всё-таки у меня тут очень хорошая аудитория собралась, а что происходит в комментах в больших каналах, мы все регулярно наблюдаем...
Так что пусть идёт как идёт. Но я всё равно очень рад всем новоприбывшим и надеюсь, что не разочарую. Спасибо вам!
#blog #lifestyle
Вас уже не совсем с синекурин нос, и даже слегка побольше, чем Майлз наплакал, сожалея об утраченном.
Отмечаю целую хабару подписчиков! Большое спасибо Ире за тортик и заботу, но главное всё-таки спасибо вам — за то, что вы есть! Ура!
Хотел было пожелать сам себе, чтобы в скором времени уже было бессмысленно отмечать каждую тысячу подписчиков, а отмечали бы только каждые 5К или 10К. Но, если честно, не уверен, что я этого на самом деле хочу. Всё-таки у меня тут очень хорошая аудитория собралась, а что происходит в комментах в больших каналах, мы все регулярно наблюдаем...
Так что пусть идёт как идёт. Но я всё равно очень рад всем новоприбывшим и надеюсь, что не разочарую. Спасибо вам!
#blog #lifestyle
❤89👍16🔥12🎉11💘6🍓2👏1🏆1
В пространстве размерности сто нет смысла покупать апельсины: они почти целиком состоят из кожуры. А ближайшие соседи там перестают быть близкими.
Последние лекции в Центральном университете были совсем поздними (я возвращался из поездки, и начало двух пар пришлось перенести с 19 часов на 20, да ещё и приехал к окончательно сломавшемуся компьютеру), но в итоге всё получилось:
ЦУ — 2026.10.09 — Проклятие размерности, bias-variance и гауссиан
(слайды, доска и ноутбук на странице курса)
В первой части разбираем проклятие размерности: почему нельзя просто перебрать все варианты, взять интеграл по сетке или везде обойтись ближайшими соседями. Затем смотрим на машинное обучение через статистическую теорию принятия решений и раскладываем ошибку на смещение, разброс и неустранимый шум.
Во второй части проводим байесовский вывод для гауссиана с неизвестными средним и дисперсией. Здесь есть небольшой сюрприз: и распределение среднего, и предсказательное распределение оказываются распределениями Стьюдента, то есть не просто гауссианом с большей дисперсией, а реально другим распределением с гораздо более тяжёлыми хвостами.
Эти сюжеты никуда не исчезли из современного ML. Поиск соседей нужен для поиска, в том числе поиска по эмбеддингам, геометрия в высоких размерностях всё так же требует осторожности. Разложение bias-variance-noise помогает понимать эффект регуляризации, а байесовский гауссиан показывает, что неопределённость в параметрах может менять даже форму предсказаний. В ноутбуке все три истории можно увидеть на картинках и сравнить аналитические формулы с экспериментами.
#centraluni #cubayes2026 #lectures
Последние лекции в Центральном университете были совсем поздними (я возвращался из поездки, и начало двух пар пришлось перенести с 19 часов на 20, да ещё и приехал к окончательно сломавшемуся компьютеру), но в итоге всё получилось:
ЦУ — 2026.10.09 — Проклятие размерности, bias-variance и гауссиан
(слайды, доска и ноутбук на странице курса)
В первой части разбираем проклятие размерности: почему нельзя просто перебрать все варианты, взять интеграл по сетке или везде обойтись ближайшими соседями. Затем смотрим на машинное обучение через статистическую теорию принятия решений и раскладываем ошибку на смещение, разброс и неустранимый шум.
Во второй части проводим байесовский вывод для гауссиана с неизвестными средним и дисперсией. Здесь есть небольшой сюрприз: и распределение среднего, и предсказательное распределение оказываются распределениями Стьюдента, то есть не просто гауссианом с большей дисперсией, а реально другим распределением с гораздо более тяжёлыми хвостами.
Эти сюжеты никуда не исчезли из современного ML. Поиск соседей нужен для поиска, в том числе поиска по эмбеддингам, геометрия в высоких размерностях всё так же требует осторожности. Разложение bias-variance-noise помогает понимать эффект регуляризации, а байесовский гауссиан показывает, что неопределённость в параметрах может менять даже форму предсказаний. В ноутбуке все три истории можно увидеть на картинках и сравнить аналитические формулы с экспериментами.
#centraluni #cubayes2026 #lectures
🔥17👍8❤5❤🔥1🙏1💘1