Курс в Центральном университете продолжается онлайн, хотя я туда ещё приеду и лично. На прошедших лекциях обсудили линейные классификаторы:
ЦУ — 2026.09.25 — Основы классификации и логистическая регрессия
(слайды, доска и код на странице курса)
Классификация начинается с геометрии: как разделить классы гиперплоскостью, почему соединять центроиды не всегда хорошая идея и какое направление ищет дискриминант Фишера. Мне кажется, понимать геометрическую суть происходящего очень важно в любом случае.
Потом вернулись к формуле Байеса, строили классификаторы из гауссовских распределений и добрались до логистической регрессии. Заодно выяснили, откуда возникают логистический сигмоид и softmax — те самые, которые дожили до современных нейросетей.
А дальше разбираем, как градиент поворачивает разделяющую гиперплоскость, почему метод Ньютона сильнее учитывает примеры, в которых модель сомневается, и что байесовский подход добавляет к обычному предсказанию.
В целом идём по плану, дальше, как водится, будет больше!
#centraluni #cubayes2026 #lectures
ЦУ — 2026.09.25 — Основы классификации и логистическая регрессия
(слайды, доска и код на странице курса)
Классификация начинается с геометрии: как разделить классы гиперплоскостью, почему соединять центроиды не всегда хорошая идея и какое направление ищет дискриминант Фишера. Мне кажется, понимать геометрическую суть происходящего очень важно в любом случае.
Потом вернулись к формуле Байеса, строили классификаторы из гауссовских распределений и добрались до логистической регрессии. Заодно выяснили, откуда возникают логистический сигмоид и softmax — те самые, которые дожили до современных нейросетей.
А дальше разбираем, как градиент поворачивает разделяющую гиперплоскость, почему метод Ньютона сильнее учитывает примеры, в которых модель сомневается, и что байесовский подход добавляет к обычному предсказанию.
В целом идём по плану, дальше, как водится, будет больше!
#centraluni #cubayes2026 #lectures
❤10🔥5👍4
К главному обзору своей жизни я ещё наверняка вернусь, а пока вот маленький пиксельный квест, в котором вы играете за начальницу службы безопасности звездолёта, летящего к другой звезде уже тридцать с лишним лет, и расследуете череду происшествий, из которых складывается заговор на этом “корабле поколений”. Полная версия как всегда на сайте:
Between Horizons
(и вот на DTF)
Кто это сделал. DigiTales Interactive — маленькая студия из Саарбрюккена; я там когда-то сидел с научным визитом, не помню уже по какому именно поводу. Between Horizons — их вторая игра после нуарного детектива Lacuna 2021 года; в него я когда-то играл с большим удовольствием. [,,,]
Жанр Between Horizons авторы описывают как “2.5D pixel art adventure” с ветвящимся сюжетом в полуоткрытом мире. Собственно, так и есть: пиксельные персонажи ходят по объёмным декорациям с параллаксом, выглядит симпатично.
Завязка. Корабль называется “Zephyrus”, и это первый в истории человечества корабль поколений: тысяча с небольшим человек летят к планете Eurus-d, до которой ещё сто лет пути. Те, кто стартовал с Земли, не долетят, доберутся только их внуки. Героиню зовут Стелла, ей двадцать четыре, она родилась уже на борту и в самом начале игры получает должность начальника службы безопасности — вместо отца, который её только что занимал и погиб (там вообще общество весьма сословным образом устроено, должности передаются по наследству). Официальная версия — несчастный случай, а игра начинается прямо с похорон и торжеств по случаю Arrival Day, годовщины отлёта. [...]
Как устроены расследования. Геймплей мне очень даже понравился. У Стеллы есть планшет с “Zephyr OS” и вкладками вроде “Дела”, “Улики”, “Сообщения” и т.д. Улики собираются сами собой — поговорил с человеком, осмотрел предмет, прочитал табличку, и в базе появляется карточка. Каждое дело — это, по сути, один вопрос: кто отправил сообщение? в какой комнате стоит тайный сервер? кто саботировал? Отвечаешь на него, перетаскивая нужную улику в нужное поле, и дело закрывается.
Но здесь есть важные отличия от большинства детективных квестов. Во-первых, ответить можно только один раз, и никакого game over при неправильном ответе не будет [...] Во-вторых, как вас сразу предупреждают, “отправив дело, вы можете ещё долго не узнать, были ли правы, — а может быть, и никогда не узнать”. [...] Как по мне, крутое решение, в детективе это отлично работает.
Самих загадок здесь не очень много; нет никаких шкатулок и шестерёнок, никакого “примени рыбу к люстре”. Зато иногда нужно применить обычную человеческую логику [...] Например, в одном деле повстанцы где-то на корабле поставили свой сервер связи; Стелла ходит по кораблю и в определённых местах может подключить к кабелю планшет и получить пинг до сервера: низкий, если он рядом, средний и высокий, если он на противоположной стороне кольца. Дальше вы ходите по коридорам и триангулируете; с одной стороны, очень просто, с другой, жизненно и логично. [...]
Сюжет. Пересказывать не буду, потому что он и есть главное содержание в такой игре, и он хороший. Начинается всё как камерный детектив, но к середине превращается в историю о том, что бывает с обществом, которое заперто в ограниченном пространстве на сто лет и знает, что никто из живущих не увидит цели. [...]
Заключение. Between Horizons — маленький аккуратный детектив, в котором расследование устроено очень приятно: ты сам делаешь выводы, сам за них отвечаешь и сам иногда пользуешься головой не по игровой логике, а согласно здравому смыслу. Красивый корабль, хорошо прописанные персонажи, история с социальным и житейским смыслом и законченный финал за один-два вечера. Рекомендую. Сам играл на Steam Deck, и в этом формате тоже всё прекрасно. Да и Lacuna, кстати, тоже рекомендую, хорошо, что появился повод вспомнить.
#tgif #games
Between Horizons
(и вот на DTF)
Кто это сделал. DigiTales Interactive — маленькая студия из Саарбрюккена; я там когда-то сидел с научным визитом, не помню уже по какому именно поводу. Between Horizons — их вторая игра после нуарного детектива Lacuna 2021 года; в него я когда-то играл с большим удовольствием. [,,,]
Жанр Between Horizons авторы описывают как “2.5D pixel art adventure” с ветвящимся сюжетом в полуоткрытом мире. Собственно, так и есть: пиксельные персонажи ходят по объёмным декорациям с параллаксом, выглядит симпатично.
Завязка. Корабль называется “Zephyrus”, и это первый в истории человечества корабль поколений: тысяча с небольшим человек летят к планете Eurus-d, до которой ещё сто лет пути. Те, кто стартовал с Земли, не долетят, доберутся только их внуки. Героиню зовут Стелла, ей двадцать четыре, она родилась уже на борту и в самом начале игры получает должность начальника службы безопасности — вместо отца, который её только что занимал и погиб (там вообще общество весьма сословным образом устроено, должности передаются по наследству). Официальная версия — несчастный случай, а игра начинается прямо с похорон и торжеств по случаю Arrival Day, годовщины отлёта. [...]
Как устроены расследования. Геймплей мне очень даже понравился. У Стеллы есть планшет с “Zephyr OS” и вкладками вроде “Дела”, “Улики”, “Сообщения” и т.д. Улики собираются сами собой — поговорил с человеком, осмотрел предмет, прочитал табличку, и в базе появляется карточка. Каждое дело — это, по сути, один вопрос: кто отправил сообщение? в какой комнате стоит тайный сервер? кто саботировал? Отвечаешь на него, перетаскивая нужную улику в нужное поле, и дело закрывается.
Но здесь есть важные отличия от большинства детективных квестов. Во-первых, ответить можно только один раз, и никакого game over при неправильном ответе не будет [...] Во-вторых, как вас сразу предупреждают, “отправив дело, вы можете ещё долго не узнать, были ли правы, — а может быть, и никогда не узнать”. [...] Как по мне, крутое решение, в детективе это отлично работает.
Самих загадок здесь не очень много; нет никаких шкатулок и шестерёнок, никакого “примени рыбу к люстре”. Зато иногда нужно применить обычную человеческую логику [...] Например, в одном деле повстанцы где-то на корабле поставили свой сервер связи; Стелла ходит по кораблю и в определённых местах может подключить к кабелю планшет и получить пинг до сервера: низкий, если он рядом, средний и высокий, если он на противоположной стороне кольца. Дальше вы ходите по коридорам и триангулируете; с одной стороны, очень просто, с другой, жизненно и логично. [...]
Сюжет. Пересказывать не буду, потому что он и есть главное содержание в такой игре, и он хороший. Начинается всё как камерный детектив, но к середине превращается в историю о том, что бывает с обществом, которое заперто в ограниченном пространстве на сто лет и знает, что никто из живущих не увидит цели. [...]
Заключение. Between Horizons — маленький аккуратный детектив, в котором расследование устроено очень приятно: ты сам делаешь выводы, сам за них отвечаешь и сам иногда пользуешься головой не по игровой логике, а согласно здравому смыслу. Красивый корабль, хорошо прописанные персонажи, история с социальным и житейским смыслом и законченный финал за один-два вечера. Рекомендую. Сам играл на Steam Deck, и в этом формате тоже всё прекрасно. Да и Lacuna, кстати, тоже рекомендую, хорошо, что появился повод вспомнить.
#tgif #games
🔥8❤3👍3
Сети из линейных нейронов не имеют смысла, но одни нелинейные функции помогают сети учиться, а другие обучение останавливают. Поговорили о том, как устроены нейросети, в популярных лекциях в ЮФУ:
ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)
Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.
Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.
Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.
В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)
Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.
Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.
Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.
В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.
#sfu #lectures #dsfrontiers
👍9❤8🔥6
Для разнообразия сегодня выкладываю не лекцию, а доклад, уже давний, с мемориала Вавилова:
Vavilov Memorial — 2026.09.19 — Vibemathed: The AI takeoff in mathematics
(слайды на странице "Выступления")
Это доклад о том, как математика в 2026 году трансформируется под натиском AI-моделей, которые доказывают всё новые и новые результаты. Я рассказал общую канву расцвета "вайб-математики", кульминацией которой к тому времени уже стало решение задачи тысячелетия об уравнениях Навье-Стокса; этому результату и окружающим его controversies тоже довольно большая часть доклада была посвящена.
Но об этом я уже и в блоге подробно писал, и здесь в канале. Давайте сейчас подсвечу любопытное наблюдение Ноама Брауна из интервью Дваркешу Пателю. Я каждый раз в докладах показывал слайды о скорости прогресса LLM в математике, но мне не приходило в голову построить график вроде того, что METR строил для работы программистов.
А Ноаму пришло в голову. И смотрите, как оно получается:
— в 2022 году LLM решали словесные задачи для третьего класса школы; для математика-профессионала это задачи на пять секунд;
— в 2023 решали MATH, задачи из программы старшей школы, профессионалу где-то на одну минуту, даже поменьше;
— в 2024 начали решать AIME, простенькие олимпиадные задачки, которые у математика заняли бы где-то 10 минут;
— в 2025 уже начали решать серьёзные олимпиады вроде IMO, где можно сказать, что профессионал-математик за 10 минут не справится, но за пару часов по идее должен.
То есть довольно устойчиво график показывал 10x времени в год. И вот в 2026-м мы получаем решения сотен открытых проблем, в том числе одной из задач тысячелетия и массы задач, над которыми профессионалы думали очень долго.
Никак нельзя сказать, что поиск, скажем, примера несофической группы или доказательства гипотезы о двойном покрытии циклами — это задача на 15-20 часов работы математика-профессионала. То есть в этих единицах прогресс внезапно довольно резко ускорился (ну и, собственно, его измерение в этих единицах теперь потеряло смысл). Не буду утверждать, что это что-то серьёзное значит сверх конкретного наблюдения, но любопытно.
Ещё раз спасибо Николаю Николаевичу и другим коллегам за приглашение! Напоминаю, что к докладу есть и extended abstract, который можно скачать со странички конференции; вот прямая ссылка на pdf:
Vibemathed: the AI takeoff in mathematics — Sergey Nikolenko
#talks #events #ai #math
Vavilov Memorial — 2026.09.19 — Vibemathed: The AI takeoff in mathematics
(слайды на странице "Выступления")
Это доклад о том, как математика в 2026 году трансформируется под натиском AI-моделей, которые доказывают всё новые и новые результаты. Я рассказал общую канву расцвета "вайб-математики", кульминацией которой к тому времени уже стало решение задачи тысячелетия об уравнениях Навье-Стокса; этому результату и окружающим его controversies тоже довольно большая часть доклада была посвящена.
Но об этом я уже и в блоге подробно писал, и здесь в канале. Давайте сейчас подсвечу любопытное наблюдение Ноама Брауна из интервью Дваркешу Пателю. Я каждый раз в докладах показывал слайды о скорости прогресса LLM в математике, но мне не приходило в голову построить график вроде того, что METR строил для работы программистов.
А Ноаму пришло в голову. И смотрите, как оно получается:
— в 2022 году LLM решали словесные задачи для третьего класса школы; для математика-профессионала это задачи на пять секунд;
— в 2023 решали MATH, задачи из программы старшей школы, профессионалу где-то на одну минуту, даже поменьше;
— в 2024 начали решать AIME, простенькие олимпиадные задачки, которые у математика заняли бы где-то 10 минут;
— в 2025 уже начали решать серьёзные олимпиады вроде IMO, где можно сказать, что профессионал-математик за 10 минут не справится, но за пару часов по идее должен.
То есть довольно устойчиво график показывал 10x времени в год. И вот в 2026-м мы получаем решения сотен открытых проблем, в том числе одной из задач тысячелетия и массы задач, над которыми профессионалы думали очень долго.
Никак нельзя сказать, что поиск, скажем, примера несофической группы или доказательства гипотезы о двойном покрытии циклами — это задача на 15-20 часов работы математика-профессионала. То есть в этих единицах прогресс внезапно довольно резко ускорился (ну и, собственно, его измерение в этих единицах теперь потеряло смысл). Не буду утверждать, что это что-то серьёзное значит сверх конкретного наблюдения, но любопытно.
Ещё раз спасибо Николаю Николаевичу и другим коллегам за приглашение! Напоминаю, что к докладу есть и extended abstract, который можно скачать со странички конференции; вот прямая ссылка на pdf:
Vibemathed: the AI takeoff in mathematics — Sergey Nikolenko
#talks #events #ai #math
❤19🔥6👍5❤🔥1😍1
В среду на семинаре лаборатории Маркова очень крутая тема. Давно собирался добавить её к своим лекциям, но там и так тесно получается каждый год, а теперь вот будет на что сослаться, надеюсь:
Индуктивный вывод по Соломонову: универсальный алгоритм машинного обучения, лучший среди всех?
Кирилл Соколов (СПбГУ)
Ссылка на трансляцию (среда 07 октября, 13:40)
Существует ли универсальный алгоритм машинного обучения, лучший среди всех алгоритмов на свете?
Оказывается, да! Он называется "индуктивный вывод Соломонова" (Solomonoff's inductive inference), в честь Рея Соломонова, разработавшего эту теорию ещё в 1960-х годах.
Что это за алгоритм, в каком смысле он "лучший" и почему вы о нём ничего не слышали — обо всём этом я подробно расскажу 7 октября на заседании семинара лаборатории Маркова.
В докладе будет много красивейшей математики! Чтобы слушать с кайфом, ничего даже из стандартного ML знать не требуется. Проще всего будет студентам-математикам 2-3 курсов бакалавриата. Задействованные области математики: теория вероятностей, теория меры, теоретическая информатика.
#markovlab #seminar #spsu
Индуктивный вывод по Соломонову: универсальный алгоритм машинного обучения, лучший среди всех?
Кирилл Соколов (СПбГУ)
Ссылка на трансляцию (среда 07 октября, 13:40)
Существует ли универсальный алгоритм машинного обучения, лучший среди всех алгоритмов на свете?
Оказывается, да! Он называется "индуктивный вывод Соломонова" (Solomonoff's inductive inference), в честь Рея Соломонова, разработавшего эту теорию ещё в 1960-х годах.
Что это за алгоритм, в каком смысле он "лучший" и почему вы о нём ничего не слышали — обо всём этом я подробно расскажу 7 октября на заседании семинара лаборатории Маркова.
В докладе будет много красивейшей математики! Чтобы слушать с кайфом, ничего даже из стандартного ML знать не требуется. Проще всего будет студентам-математикам 2-3 курсов бакалавриата. Задействованные области математики: теория вероятностей, теория меры, теоретическая информатика.
#markovlab #seminar #spsu
🔥31👍10❤9
Даа, посты явно сильно отстают от темпа, заданного этим семестром... Впрочем, какая разница, это же не злободневные новости, а фундаментальные курсы лекций. Сегодня вот дошли до лекции, которая была в "Глубоком обучении" в позапрошлую пятницу:
СПбГУ — 2026.09.25 — Распознавание объектов
(слайды и доска на странице курса)
В новой лекции по глубокому обучению переходим от классификации картинок к распознаванию объектов. Я на этот раз сократил часть про компьютерное зрение, хочется всё-таки побольше поговорить про generative AI, но мы всё равно прошли стандартный путь от R-CNN, который отдельно обрабатывал каждый предложенный прямоугольник, до Faster R-CNN и YOLO. По дороге обсудили, как вообще обучать сеть с переменным числом ответов, почему маленькие объекты так трудно находить и как иерархия классов помогает объединять разные датасеты.
Как всегда, эта история интересна не конкретными архитектурами, а идеями, которые пригождаются далеко за пределами распознавания котиков: один раз посчитать общие признаки, добавить маленькому объекту контекст всей картинки, не дать тысячам простых отрицательных примеров заглушить несколько важных положительных... Архитектуры меняются, а идеи остаются, так что и в эпоху трансформеров их полезно понимать.
#spsu #dl2026 #lectures
СПбГУ — 2026.09.25 — Распознавание объектов
(слайды и доска на странице курса)
В новой лекции по глубокому обучению переходим от классификации картинок к распознаванию объектов. Я на этот раз сократил часть про компьютерное зрение, хочется всё-таки побольше поговорить про generative AI, но мы всё равно прошли стандартный путь от R-CNN, который отдельно обрабатывал каждый предложенный прямоугольник, до Faster R-CNN и YOLO. По дороге обсудили, как вообще обучать сеть с переменным числом ответов, почему маленькие объекты так трудно находить и как иерархия классов помогает объединять разные датасеты.
Как всегда, эта история интересна не конкретными архитектурами, а идеями, которые пригождаются далеко за пределами распознавания котиков: один раз посчитать общие признаки, добавить маленькому объекту контекст всей картинки, не дать тысячам простых отрицательных примеров заглушить несколько важных положительных... Архитектуры меняются, а идеи остаются, так что и в эпоху трансформеров их полезно понимать.
#spsu #dl2026 #lectures
❤11👍5👏2