Friends, Romans, countrymen!

Вас уже не совсем с синекурин нос, и даже слегка побольше, чем Майлз наплакал, сожалея об утраченном.

Отмечаю целую хабару подписчиков! Большое спасибо Ире за тортик и заботу, но главное всё-таки спасибо вам — за то, что вы есть! Ура!

Хотел было пожелать сам себе, чтобы в скором времени уже было бессмысленно отмечать каждую тысячу подписчиков, а отмечали бы только каждые 5К или 10К. Но, если честно, не уверен, что я этого на самом деле хочу. Всё-таки у меня тут очень хорошая аудитория собралась, а что происходит в комментах в больших каналах, мы все регулярно наблюдаем...

Так что пусть идёт как идёт. Но я всё равно очень рад всем новоприбывшим и надеюсь, что не разочарую. Спасибо вам!

#blog #lifestyle

В пространстве размерности сто нет смысла покупать апельсины: они почти целиком состоят из кожуры. А ближайшие соседи там перестают быть близкими.

Последние лекции в Центральном университете были совсем поздними (я возвращался из поездки, и начало двух пар пришлось перенести с 19 часов на 20, да ещё и приехал к окончательно сломавшемуся компьютеру), но в итоге всё получилось:

ЦУ — 2026.10.09 — Проклятие размерности, bias-variance и гауссиан
(слайды, доска и ноутбук на странице курса)

В первой части разбираем проклятие размерности: почему нельзя просто перебрать все варианты, взять интеграл по сетке или везде обойтись ближайшими соседями. Затем смотрим на машинное обучение через статистическую теорию принятия решений и раскладываем ошибку на смещение, разброс и неустранимый шум.

Во второй части проводим байесовский вывод для гауссиана с неизвестными средним и дисперсией. Здесь есть небольшой сюрприз: и распределение среднего, и предсказательное распределение оказываются распределениями Стьюдента, то есть не просто гауссианом с большей дисперсией, а реально другим распределением с гораздо более тяжёлыми хвостами.

Эти сюжеты никуда не исчезли из современного ML. Поиск соседей нужен для поиска, в том числе поиска по эмбеддингам, геометрия в высоких размерностях всё так же требует осторожности. Разложение bias-variance-noise помогает понимать эффект регуляризации, а байесовский гауссиан показывает, что неопределённость в параметрах может менять даже форму предсказаний. В ноутбуке все три истории можно увидеть на картинках и сравнить аналитические формулы с экспериментами.

#centraluni #cubayes2026 #lectures

Уже традиционно выкладываю предыдущий семинар в день следующего.

Что, если вместо выбора конкретной модели машинного обучения усреднить предсказания всех моделей на свете? Если у вас есть бесконечные вычислительные ресурсы, это оказывается очень сильной идеей, связанной и с байесовским выводом, и с колмогоровской сложностью:

Семинар Markov Lab — 2026.10.07 — Индуктивный вывод Рея Соломонова
(слайды на странице семинара)

Кирилл Соколов (СПбГУ)

Начинается доклад с простого вопроса: как угадать следующее число в последовательности? Дальше появляются вероятностные меры, байесовский вывод и идея усреднить предсказания всех программ, которые могли породить наши наблюдения. Чем короче программа, тем больше её вес; здесь прогнозирование встречается с колмогоровской сложностью.

Получается удивительно сильный предсказатель — конечно, с оговоркой о том, что вычислить его в общем случае нельзя.

Эта идея остаётся разумной точкой отсчёта и сегодня. Любопытно, что разговор всю дорогу шёл фактически про языковые модели, которые учатся предсказывать следующий токен в последовательности — этим же действительно можно выразить любую задачу ML.

В докладе обсудили, что теряется при переходе от идеального вывода к доступным вычислениям, как на это смотреть через смеси моделей, dropout и SGD и почему одной гарантии качества недостаточно без вопроса о времени работы. А заодно разобрались, чем индукция отличается от дедукции и как это связано с "no free lunch"-теоремами.

#markovlab #seminar #spsu

Ох, коллеги, совсем забыл вам лекцию-то выложить сегодня. А мы ведь продолжаем в ЮФУ объяснение основных понятий машинного обучения совсем на пальцах,

И это может быть интересно довольно широкой аудитории, той самой, которую я ещё раз приглашаю в "Бражник" в воскресенье 18 октября:

ЮФУ — 2026.10.12 — Градиентный спуск: как обучаются нейронные сети
(слайды, доска и ноутбук на странице курса)

Откуда нейросеть знает, куда идти? Градиент — это местный компас: он показывает направление на склоне ошибки, но при этом не обещает прямой дороги к лучшему ответу.

В лекции мы продолжали восстанавливать потерянный прайс-лист копицентра. Вместо перебора всех цен считали производные и делали шаги по градиенту: сначала с одним параметром, потом с несколькими.

Разбирались, почему слишком большой шаг мешает обучению, зачем приводить признаки к сопоставимым масштабам и что меняется при выборе функции ошибки. А тариф со скидками за оптовую печать превращается в маленькую нейросеть с ReLU-активациями (это прямо изящно получилось, на мой взгляд), и её можно обучить прямо на месте в ноутбуке.

На этом примере видны и трудности, которые остаются у нейросетей и побольше: зависимость от начальных весов, неудачные траектории обучения и переобучение. Более гибкая сеть лучше подгоняет известные чеки, но может хуже предсказывать новые. В конце обсудили, как отличить улучшение модели от запоминания данных и почему иногда полезно остановить обучение раньше.

#sfu #lectures #dsfrontiers

Сегодня у нас симулятор ходьбы, который очень хочет быть Firewatch. Arctic Awakening — большая, часов на девять, история про лётчика, разбившегося где-то на Аляске, с красивыми снежными лесами, долгими прогулками под разговоры о вечном и теориями заговора в заброшенной хижине. Всё как в оригинале, только, увы, унылее и зануднее:

Arctic Awakening
(и вот на DTF выложил)

Устроена игра как сериал: пять глав примерно по два часа, с названиями, эпиграфами и титрами в конце каждой.

Завязка. Апрель 2062 года, где-то над Аляской. Вы — Кай, пилот небольшого транспортного самолёта; рядом второй пилот Донован и шарообразный летающий робот по имени Альфи. Альфи — бот-психотерапевт, приставленный к Каю по решению какого-то суда. [...]

Дальше буря, самолёт разваливается в воздухе, Донован выпрыгивает с парашютом раньше, а Кай просыпается в снегу среди обломков. Задача поначалу простая: привлечь внимание спасателей и найти напарника. Но очень скоро в лесу начинают попадаться странные вещи: гигантские антенны, бункеры с табличками о радиационной опасности, дроны, которые тебя не замечают, хижина с классической параноидальной пробковой доской на стене… И история сворачивает совсем в другую сторону.

Это Firewatch. По вайбу и даже по графическому стилю это прямо однозначно Firewatch. Очень видно, чем вдохновлялись разработчики. Графика, [...], долгие прогулки под разговоры о вечном, [...] собеседник, который постепенно выведывает у тебя твою историю, [...] и даже теории заговора здесь примерно с таким же антуражем. [...]

Но очень унылый Firewatch. Проблема в том, что всё это перечисление — всего лишь форма. А по содержанию Arctic Awakening не дотягивает ни по сюжету, ни по персонажам. История про травмированного ветерана, который сбежал от семьи в Аляску, рассказана добросовестно, но без неожиданных поворотов в человеческой её части; фантастическая часть к финалу раскручивается до масштабов, которые не особенно поддержаны первыми часами и выглядят чересчур.

Альфи очень симпатичный, и comic relief разговоры с ним иногда обеспечивают, но ничего особенно глубокого про AI или про терапию здесь тоже нет. Донован появляется редко и говорит в основном о том, что Кай его бросил. С Делайлой, которая по ходу разговоров по рации становится живым человеком, тут сравнивать нечего.

Геймплей: дыхательные упражнения. Геймплей не очень порадовал тоже. Загадок здесь почти нет (за двумя-тремя исключениями); симулятор ходьбы очень уж чистый получился. Задачи в основном в форме “найди четыре рычага на вот этой довольно большой территории”; сами понимаете, насколько это уныло. Ещё надо иногда есть, потому что есть шкала голода, но умереть от неё нельзя, так что это просто ещё одна кнопка раз в двадцать минут.

Единственная новая механика — дыхательные упражнения, и они тоже странненькие. [...] А главное…

Диалоги нельзя проматывать. Это вообще самое потрясающее. Когда разговор скрашивает долгий пеший путь, что происходит в этой игре регулярно, это не страшно, [...] но бывают и ситуации, когда ты просто стоишь и ждёшь, пока вы с ботом отговорите свои реплики, чтобы можно было сделать следующее действие. [...]

Зато вспомнил South of the Circle.
На некоторые места в Arctic Awakening, впрочем, приятно посмотреть: ледяная пещера с гирляндами, купол исследовательской станции, поля цветов и розовые яблони посреди вечной зимы, телестудия с зелёным экраном там, где её быть не должно.

Арктический сеттинг вместе с некоторыми деталями — заброшенные станции, записи, которые оставили люди, которых уже нет, — напомнил мне South of the Circle.

И вот её я, кстати говоря, очень рекомендую. Это игра студии State of Play, авторов Lumino City. Антарктида, начало 1960-х, холодная война, британский климатолог Питер, самолёт которого разбился во льдах, и Клара, которую он оставил в Кембридже. [...]

Заключение. Arctic Awakening — девятичасовая прогулка по красивому лесу с довольно занудным роботом. Не рекомендую; лучше вспомните старые добрые Firewatch и South of the Circle.

#tgif #games