Сегодня семинар был несколько неожиданно кратким, но оно и неплохо, наверное.) Зато потом хорошо пообщались.
#spsu #markovlab #seminar
#spsu #markovlab #seminar
❤22❤🔥5🥰4👏1
Зачем делать нейросеть глубже, а потом специально добавлять в неё пути в обход новых слоёв? Оказывается, именно так глубокой сети бывает проще обучиться:
СПбГУ — 2026.09.18 — Идеи свёрточных архитектур от VGG до EfficientNet
(слайды и доска на странице курса)
Мы продолжили разбирать свёрточные архитектуры: от маленьких фильтров VGG и блоков Inception до остаточных связей ResNet, MobileNet и EfficientNet.
Суть, конечно, не в самих архитектурах, а в довольно наглядных идеях: как расширить поле зрения, сэкономить параметры, провести градиент через много слоёв и не потратить на всё это слишком много вычислений.
Эти идеи полезны и за пределами CNN: например, остаточные связи используются буквально везде, и в трансформерах, конечно, тоже. А, например, идея EfficientNet специфична для свёрток, но сама мысль согласованно подбирать гиперпараметры единой формулой, безусловно, полезна до сих пор.
[Метакомментарий: как видите, пытаюсь немного разнообразить стиль, но в целом пока канал в этом семестре устойчиво скатывается в сплошные лекции, их реально у меня больше накапливается, чем дней в неделе. Это вам норм, дорогие подписчики? Или лучше пусть выкладывание лекций отстаёт, но в канале пусть бывает и что-то другое?]
#spsu #dl2026 #lectures
СПбГУ — 2026.09.18 — Идеи свёрточных архитектур от VGG до EfficientNet
(слайды и доска на странице курса)
Мы продолжили разбирать свёрточные архитектуры: от маленьких фильтров VGG и блоков Inception до остаточных связей ResNet, MobileNet и EfficientNet.
Суть, конечно, не в самих архитектурах, а в довольно наглядных идеях: как расширить поле зрения, сэкономить параметры, провести градиент через много слоёв и не потратить на всё это слишком много вычислений.
Эти идеи полезны и за пределами CNN: например, остаточные связи используются буквально везде, и в трансформерах, конечно, тоже. А, например, идея EfficientNet специфична для свёрток, но сама мысль согласованно подбирать гиперпараметры единой формулой, безусловно, полезна до сих пор.
[Метакомментарий: как видите, пытаюсь немного разнообразить стиль, но в целом пока канал в этом семестре устойчиво скатывается в сплошные лекции, их реально у меня больше накапливается, чем дней в неделе. Это вам норм, дорогие подписчики? Или лучше пусть выкладывание лекций отстаёт, но в канале пусть бывает и что-то другое?]
#spsu #dl2026 #lectures
❤30👍10🔥8
Но от обзоров не откажусь! Сегодня escape room — жанр, о котором я, кажется, ещё не писал. Большая и красивая головоломка; загадки работают, антураж сделан с любовью, но претензий накопилось всё-таки много... Как всегда, читать лучше по ссылке:
The House of Tesla: Definitive Edition
(и вот на DTF)
Немного про жанр. Любопытно, что escape room как жанр видеоигр старше, чем escape room как квест в реальной запертой комнате. Отсчёт можно вести как минимум от великого Myst (1993), [...] потом были MOTAS, Mystery of Time and Space, в 2001 и Crimson Room в 2004-м. [...]
Что во всём этом меня всегда смущало, лучше всего показано в фильме “Glass Onion”, второй части “Knives Out”. Это не спойлер, в самой завязке миллиардер рассылает друзьям хитроумные ящики-головоломки с приглашением, и вся компания по видеосвязи торжественно их разгадывает, слой за слоем. А героиня Джанель Монэ просто берёт молоток и разбивает ящик, получив тот же результат.
Вот примерно так я себя чувствую каждый раз, когда в escape room надо открыть шкафчик, для чего надо найти три шестерёнки, для чего надо решить ребус на обратной стороне картины, для чего надо сначала открыть шкафчик. [...]
Завязка и антураж. Дело происходит в Уорденклифе на Лонг-Айленде, где в самом начале XX века реальный Никола Тесла построил свою знаменитую башню для беспроводной передачи энергии. В жизни всё кончилось тем, что он залез в долги, а башню снесли, да и в игре финансовые проблемы поминают часто.
Вы приходите в себя в его заброшенном кабинете: тёмное дерево, ролл-топ бюро, чертежи, за окном дождь и та самая башня. [...]
Дальше по кабинету, фабричным цехам, лаборатории и башне разбросаны дневники и письма, а время от времени игра переносит вас в прошлое. Это на мой взгляд лучшая часть игры: там сразу и историю интересную начинают рассказывать, и кино показывать, и вообще. [...]
Загадки и сюжет. Собственно загадки работают хорошо. Шкатулки с потайными отделениями, механизмы с шестерёнками и рычагами, перфокарты, поиск символов...
Понравилось отношение к истории. В игре реализованы известные вещи, относящиеся к самому Тесле: радиоуправляемая лодка, которую надо провести по бассейну между буйками (он и правда показывал такую публике в 1898-м), колумбово яйцо на вращающемся магнитном поле, электрические дуги, которые надо направить куда надо. [...]
Но двух вещей мне не хватило. Во-первых, возможности ходить. Здесь вы перемещаетесь по фиксированным экранам, как в Myst. [...]
Во-вторых (и это главное), не хватило связи загадок друг с другом. [...] Сравните с тем же Blue Prince, который тоже в каком-то смысле escape room, но где каждая найденная бумажка меняет понимание всего дома. Или хотя бы с The Séance of Blake Manor, где улики цепляются друг за друга и работают на общий сюжет. У авторов The House of Tesla такой фантазии, к сожалению, не нашлось. [...]
Заключение. The House of Tesla — добротная escape room из пяти довольно больших глав; у меня заняло 7-8 часов, и это отличная длина. [...] Если вам нравится The House of Da Vinci — это ровно оно, только про Теслу. Но если ждёте от головоломки чего-то большего, чем “открой шкафчик, чтобы открыть шкафчик”, — лучше в Blue Prince. Так что о потраченном времени я не очень пожалел, но рекомендовать не буду.
#tgif #games
The House of Tesla: Definitive Edition
(и вот на DTF)
Немного про жанр. Любопытно, что escape room как жанр видеоигр старше, чем escape room как квест в реальной запертой комнате. Отсчёт можно вести как минимум от великого Myst (1993), [...] потом были MOTAS, Mystery of Time and Space, в 2001 и Crimson Room в 2004-м. [...]
Что во всём этом меня всегда смущало, лучше всего показано в фильме “Glass Onion”, второй части “Knives Out”. Это не спойлер, в самой завязке миллиардер рассылает друзьям хитроумные ящики-головоломки с приглашением, и вся компания по видеосвязи торжественно их разгадывает, слой за слоем. А героиня Джанель Монэ просто берёт молоток и разбивает ящик, получив тот же результат.
Вот примерно так я себя чувствую каждый раз, когда в escape room надо открыть шкафчик, для чего надо найти три шестерёнки, для чего надо решить ребус на обратной стороне картины, для чего надо сначала открыть шкафчик. [...]
Завязка и антураж. Дело происходит в Уорденклифе на Лонг-Айленде, где в самом начале XX века реальный Никола Тесла построил свою знаменитую башню для беспроводной передачи энергии. В жизни всё кончилось тем, что он залез в долги, а башню снесли, да и в игре финансовые проблемы поминают часто.
Вы приходите в себя в его заброшенном кабинете: тёмное дерево, ролл-топ бюро, чертежи, за окном дождь и та самая башня. [...]
Дальше по кабинету, фабричным цехам, лаборатории и башне разбросаны дневники и письма, а время от времени игра переносит вас в прошлое. Это на мой взгляд лучшая часть игры: там сразу и историю интересную начинают рассказывать, и кино показывать, и вообще. [...]
Загадки и сюжет. Собственно загадки работают хорошо. Шкатулки с потайными отделениями, механизмы с шестерёнками и рычагами, перфокарты, поиск символов...
Понравилось отношение к истории. В игре реализованы известные вещи, относящиеся к самому Тесле: радиоуправляемая лодка, которую надо провести по бассейну между буйками (он и правда показывал такую публике в 1898-м), колумбово яйцо на вращающемся магнитном поле, электрические дуги, которые надо направить куда надо. [...]
Но двух вещей мне не хватило. Во-первых, возможности ходить. Здесь вы перемещаетесь по фиксированным экранам, как в Myst. [...]
Во-вторых (и это главное), не хватило связи загадок друг с другом. [...] Сравните с тем же Blue Prince, который тоже в каком-то смысле escape room, но где каждая найденная бумажка меняет понимание всего дома. Или хотя бы с The Séance of Blake Manor, где улики цепляются друг за друга и работают на общий сюжет. У авторов The House of Tesla такой фантазии, к сожалению, не нашлось. [...]
Заключение. The House of Tesla — добротная escape room из пяти довольно больших глав; у меня заняло 7-8 часов, и это отличная длина. [...] Если вам нравится The House of Da Vinci — это ровно оно, только про Теслу. Но если ждёте от головоломки чего-то большего, чем “открой шкафчик, чтобы открыть шкафчик”, — лучше в Blue Prince. Так что о потраченном времени я не очень пожалел, но рекомендовать не буду.
#tgif #games
❤12👍4🔥3👌1
Насколько сложной должна быть программа, чтобы человек захотел поговорить с ней по душам? ELIZA показала, что даже очень наивной основанной на паре сотен правил системы может быть достаточно, если сам человек будет готов увидеть собеседника:
ЮФУ — 2026.09.21 — Ранние AI-системы и начало нейросетей
(слайды на странице курса)
В новой лекции ЮФУ поговорили о первых системах AI: прувере Logic Theorist, роботе Shakey, ELIZA и SHRDLU. Вспомнили большие надежды на машинный перевод, зиму AI и экспертные системы; можно ли записать знания врача в виде правил и как вообще представить знания так, чтобы компьютер мог ими пользоваться?
Некоторые сюжеты звучат весьма современно: эмоциональная привязанность к программе, завышенные ожидания и попытки соединить язык со знанием о мире. Графы знаний тоже в наше время пока ещё никуда не исчезли — в лекции обсудили их связь с языковыми моделями. А в конце перешли к биологическому нейрону и вопросу о том, как мозг с его крайне невысокой "тактовой частотой" успевает быть таким умным.
Дальше будем переходить к сути того, как работают нейросети. Напоминаю, что это курс для первокурсников, то есть фактически популярные лекции, не проходите мимо.)
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.21 — Ранние AI-системы и начало нейросетей
(слайды на странице курса)
В новой лекции ЮФУ поговорили о первых системах AI: прувере Logic Theorist, роботе Shakey, ELIZA и SHRDLU. Вспомнили большие надежды на машинный перевод, зиму AI и экспертные системы; можно ли записать знания врача в виде правил и как вообще представить знания так, чтобы компьютер мог ими пользоваться?
Некоторые сюжеты звучат весьма современно: эмоциональная привязанность к программе, завышенные ожидания и попытки соединить язык со знанием о мире. Графы знаний тоже в наше время пока ещё никуда не исчезли — в лекции обсудили их связь с языковыми моделями. А в конце перешли к биологическому нейрону и вопросу о том, как мозг с его крайне невысокой "тактовой частотой" успевает быть таким умным.
Дальше будем переходить к сути того, как работают нейросети. Напоминаю, что это курс для первокурсников, то есть фактически популярные лекции, не проходите мимо.)
#sfu #lectures #dsfrontiers
❤16👍6🔥3😍2
В курсе "Основы байесовского вывода" дошли до линейной регрессии и классического оверфиттинга. Пример с полиномиальной регрессией привожу всегда, он вечен:
СПбГУ — 2026.09.25 — Линейная регрессия
(слайды, доска и код на странице курса)
В новой лекции по байесовскому выводу разбираемся с переобучением и регуляризацией. Многочлен начинает бессмысленно извиваться между точками, особенно когда становится интерполяционным, но его можно успокоить штрафами за большие веса. Обсудили геометрический смысл регуляризации и то, как всё это получается из априорных распределений.
А дальше начинается самое интересное: вместо одного "лучшего" вектора весов у нас появляется апостериорное распределение на них. Мы увидели, какое оно получается, а потом проиллюстрировали байесовский вывод: стали добавлять данные по одной точке и смотреть, как меняется распределение и насколько можно доверять предсказаниям вдали от наблюдений. Именно ради этой неопределённости и стоит разбираться с байесовским выводом, ведь проблема никуда не исчезает, когда вместо прямой у нас большая нейросеть.
Аналитический вывод предсказательного распределения оставили на следующий раз, но главную идею уже объяснили на картинках.
#spsu #bayes2026 #lectures
СПбГУ — 2026.09.25 — Линейная регрессия
(слайды, доска и код на странице курса)
В новой лекции по байесовскому выводу разбираемся с переобучением и регуляризацией. Многочлен начинает бессмысленно извиваться между точками, особенно когда становится интерполяционным, но его можно успокоить штрафами за большие веса. Обсудили геометрический смысл регуляризации и то, как всё это получается из априорных распределений.
А дальше начинается самое интересное: вместо одного "лучшего" вектора весов у нас появляется апостериорное распределение на них. Мы увидели, какое оно получается, а потом проиллюстрировали байесовский вывод: стали добавлять данные по одной точке и смотреть, как меняется распределение и насколько можно доверять предсказаниям вдали от наблюдений. Именно ради этой неопределённости и стоит разбираться с байесовским выводом, ведь проблема никуда не исчезает, когда вместо прямой у нас большая нейросеть.
Аналитический вывод предсказательного распределения оставили на следующий раз, но главную идею уже объяснили на картинках.
#spsu #bayes2026 #lectures
❤10👍7🔥4🍓1
В среду у нас на семинаре интересная гостья, которая обещает рассказать, чем сейчас, в наше сложное и быстро меняющееся время, живёт математическая лингвистика. Может показаться, что современные LLM уже полностью овладели языком, но, видимо, это не так? Из списка литературы лично мне интереснее всего будет про персоны поговорить, Persona Selection Model уже давно появляется в моих докладах по AI safety, и это действительно важное направление как минимум в интерпретируемости.
Присоединяйтесь в среду:
Интерпретация явлений естественного языка в LLM для задачи контролируемой генерации текстов
Ольга Александровна Митрофанова
(к.ф.н., доц. СПбГУ)
Ссылка на трансляцию (среда 30 сентября, 13:40)
Современные языковые модели успешно справляются с порождением связных текстов, воспроизводя задаваемые пользователем характеристики (язык, стиль, структура и т.д.).
Вместе с тем, есть те лингвистические задачи, которые представляют сложность для LLM, в частности, моделирование лексико-семантических отношений в словосочетаниях, дифференциация синонимии и антонимии, моделирование внутрисловных связей и т.д.
В докладе рассматриваются решения, позволяющие повысить интерпретируемость результатов работы LLM. Материалы доклада могут заинтересовать как лингвистов, использующих LLM в своих исследованиях, так и прикладных математиков, разрабатывающих новые нейросетевые архитектуры.
Литература:
Astapenka, L., & Mitrofanova, O. (2026). Prediction of Lexical-Semantic Relations In Belarusian: From Word2Vec to LLM. In Computación y Sistemas, 30(1)
Athugodage, M., & Mitrofanova, O. (2025, June). The Influence of Language Typological Features on Neural Summarization Performance. In International Conference on Internet and Modern Society (pp. 132-144). Cham: Springer Nature Switzerland.
Bakaev, M., Gorovaia, S., & Mitrofanova, O. (2025). Who will author the synthetic texts? Evoking multiple personas from large language models to represent users’ associative thesauri. In Big Data and Cognitive Computing, 9(2), 46.
Mitrofanova, O., Iurevtseva, P., & Bakaev, M. (2025, October). What Do LLMs Know About Human Emotions? The Russian Case Study. In International Conference on Speech and Computer (pp. 129-144). Cham: Springer Nature Switzerland.
Rodionova, D. K., & Mitrofanova, O. A. (2026). Representation of Intraword Syntagmatic Relations in Vector Language Models. In Automatic Documentation and Mathematical Linguistics, 60(Suppl 3), 353-359.
#markovlab #seminar #spsu
Присоединяйтесь в среду:
Интерпретация явлений естественного языка в LLM для задачи контролируемой генерации текстов
Ольга Александровна Митрофанова
(к.ф.н., доц. СПбГУ)
Ссылка на трансляцию (среда 30 сентября, 13:40)
Современные языковые модели успешно справляются с порождением связных текстов, воспроизводя задаваемые пользователем характеристики (язык, стиль, структура и т.д.).
Вместе с тем, есть те лингвистические задачи, которые представляют сложность для LLM, в частности, моделирование лексико-семантических отношений в словосочетаниях, дифференциация синонимии и антонимии, моделирование внутрисловных связей и т.д.
В докладе рассматриваются решения, позволяющие повысить интерпретируемость результатов работы LLM. Материалы доклада могут заинтересовать как лингвистов, использующих LLM в своих исследованиях, так и прикладных математиков, разрабатывающих новые нейросетевые архитектуры.
Литература:
Astapenka, L., & Mitrofanova, O. (2026). Prediction of Lexical-Semantic Relations In Belarusian: From Word2Vec to LLM. In Computación y Sistemas, 30(1)
Athugodage, M., & Mitrofanova, O. (2025, June). The Influence of Language Typological Features on Neural Summarization Performance. In International Conference on Internet and Modern Society (pp. 132-144). Cham: Springer Nature Switzerland.
Bakaev, M., Gorovaia, S., & Mitrofanova, O. (2025). Who will author the synthetic texts? Evoking multiple personas from large language models to represent users’ associative thesauri. In Big Data and Cognitive Computing, 9(2), 46.
Mitrofanova, O., Iurevtseva, P., & Bakaev, M. (2025, October). What Do LLMs Know About Human Emotions? The Russian Case Study. In International Conference on Speech and Computer (pp. 129-144). Cham: Springer Nature Switzerland.
Rodionova, D. K., & Mitrofanova, O. A. (2026). Representation of Intraword Syntagmatic Relations in Vector Language Models. In Automatic Documentation and Mathematical Linguistics, 60(Suppl 3), 353-359.
#markovlab #seminar #spsu
👍9🔥4❤3👏1
[Метакомментарий: не знаю пока, как разбавлять лекции, но уж точно не могу себе позволить за целый день только анонс семинара выложить...]
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
Как обучают нейросети с миллионами весов на огромных наборах данных? Получается ведь, что даже просто подсчитать функцию ошибки для нас слишком дорого, ведь это требует прохода по всему датасету. Об этом говорили в следующих лекциях курса в ИТМО:
ИТМО — 2026.09.21 — Основы нейронных сетей, backpropagation, алгоритмы стохастического градиентного спуска
(слайды, доска и код на странице курса)
Сначала разобрали функции активации и backpropagation: на маленьком графе вычислений прошли вперёд и назад и получили производные по всем весам. Потом посмотрели, как градиентный спуск может изрядно помучаться даже на сумме двух квадратов, и начали ему помогать: инерцией, скользящими средними и отдельным шагом для каждой координаты. Так добрались до Adam и AdamW.
Это основа обучения современных нейросетей, хотя далеко не каждая красивая идея оказывается одинаково полезной на практике. В начале курса глубокого обучения я всегда привожу такие примеры: активации ACON, superconvergence и amsgrad. Каждая из них звучала очень круто, когда её придумали, но в итоге как-то ни одна не взлетела.
И в конце ещё успели обсудить dropout: зачем случайно выкидывать нейроны, чем это похоже на секс и почему этот когда-то почти обязательный приём теперь применяется гораздо избирательнее. Дальше уже перейдём к архитектурам...
#lectures #itmo #dl2026
❤12👍5🔥3