На OpenTalks.AI я был очень впечатлён новой работой группы Дмитрия Ветрова, в частности Ильдуса Садртдинова, о которой Дмитрий там рассказывал (Sadrtdinov et al., ноябрь 2025). Звучит совершенно восхитительно: термодинамика и уравнения идеального газа для обучения нейронных сетей.

Я действительно давненько так не вдохновлялся идеей, так что написал для вас подробный пост с разбором основной их аналогии:

Нейросети как идеальный газ: термодинамика обучения нейронных сетей

Сразу предупреждаю, что красивых картинок в этом посте почти совсем не будет, а будет много формул, но формулы эти куда краше любых картинок. Давайте разберёмся!

Как обычно, пост сюда ну никак не влезет, поэтому вот только оглавление и заключение:

1. Введение: откуда здесь взялась физика

2. Термодинамика за 15 минут: то, что вам нужно знать

— Что такое термодинамика
— Первый и второй законы
— Распределение Гиббса: “функция потерь” термодинамики
— Термодинамические потенциалы: что минимизируется
— Соотношения Максвелла
— Идеальный газ: простейшая модель

2. Масштабно-инвариантные нейросети и аналогии с термодинамикой

— Что такое scale invariance
— Effective learning rate
— Стационарное распределение SGD

3. Точные аналогии: словарь перевода

4. Верификация теории: три протокола обучения

— Протокол 1: обучение на фиксированной сфере
— Протокол 2: фиксированный ELR с weight decay
— Протокол 3: фиксированная скорость обучения

4. Эксперименты

— V1: стационарный радиус
— V2: минимизация термодинамических потенциалов
— V3: соотношения Максвелла
— V4: адиабатический процесс

5. От идеального газа к реальной сети

6. Зачем всё это нужно: практические следствия

— Learning rate scheduling
— Weight averaging
— Интуиция для дизайна гиперпараметров

7. Предположения и дальнейшие идеи

8. Заключение

Работа Ильдуса Садртдинова и других коллег из группы Ветрова показывает, что аналогия между обучением нейросетей и термодинамикой — это не просто красивая метафора, а количественно точное соответствие (по крайней мере, для scale-invariant сетей с SGD). Уравнение идеального газа pV = RT связывает weight decay, норму весов, learning rate и дисперсию шума в единую формулу. Соотношения Максвелла дают конкретные, проверяемые предсказания о поведении энтропии. Адиабатические инварианты описывают, как менять гиперпараметры, сохраняя уровень энтропии.

Думаю, самое важное здесь — не конкретные формулы, а сам факт: статистическая физика, разработанная для описания поведения газов и для конструирования паровых машин, оказывается правильным языком для описания обучения нейронных сетей в наше время.

Термодинамика — это наука о системах с огромным числом степеней свободы и сложными взаимодействиями, где тем не менее возникает простое макроскопическое описание. Нейросети — это тоже системы с огромным числом степеней свободы и сложными взаимодействиями.

И ещё должен признаться, что в этом посте я оставил за кадром не-школьную часть работы. На самом деле в статистической физике появляются стохастические дифференциальные уравнения, описывающие эволюцию системы, и те же диффуры начинают описывать и процесс эволюции весов у нейросети. Но об этом как-нибудь в другой раз — очень хочется надеяться, что будет повод.

#ai #longreads #blog

Выложил доклад Георгия Ангени на семинаре лаборатории Маркова:

Семинар Markov Lab — 2026.02.20 — Спекулятивное декодирование: от теории к SOTA-архитектурам ускорения LLM
(Слайды на странице семинара)

Отличный доклад о том, как ускорить inference в LLM через так называемое спекулятивное декодирование (speculative decoding), которое использует маленькую "draft model", чтобы предсказать сразу много следующих токенов, а большую модель использует для их верификации (которую можно делать параллельно).

Завтра уже новый семинар — подключайтесь!

#spsu #seminar #markovlab

Прошлогодние долги на семинаре отдали, теперь будем смотреть в будущее. Докладчики на новый семестр очень даже набираются, тьфу-тьфу-тьфу.

#spsu #seminar #markovlab

Прошлую неделю пропустил из-за OpenTalks.AI, но вот в четверг прошла вторая лекция курса "Deep learning для начинающих" в ЮФУ:

ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)

Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.

#sfu #lectures #dsfrontiers

Анонс следующего доклада на семинаре лаборатории Маркова. Напоминаю, что к нам можно подключаться прямо онлайн; но можно, конечно, и смотреть потом видео, которые я всегда выкладываю:

Алгоритмы решения проблемы булевой выполнимости (SAT) в применении к комбинаторным задачам
Александр Семенов (Университет ИТМО)

Ссылка на трансляцию (пятница 6 марта, 14:00)

Планируется рассказать о применении современных алгоритмов решения SAT, часто называемых SAT-решателями (SAT-solvers), к трудным задачам, возникающим в различных областях (криптография, теория Рамсея, символьная верификация, поиск комбинаторных структур, синтез корректирующих кодов). Будет сделан акцент на недавних результатах, в рамках которых были найдены новые коды с более высокой корректирующей способностью, чем у известных кодов с аналогичными базовыми параметрами.

#markovlab #seminar #spsu

Продолжается семестр в СПбГУ. Второй семестр называется "Графические вероятностные модели", и вот мы начали одну из главных тем этого семестра:

СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)

Сама кластеризация здесь, конечно, только для примера, сказал пару слов о классических алгоритмах, но не в этом суть. Суть в EM-алгоритме, вечной базовой идее, которую можно использовать в самых разных контекстах.

Как только у вас появляется модель с кучей скрытых переменных, причём задача была бы простой, если бы вы их знали, EM может с этим помочь. Например, кластеризация — это обучение смеси распределений, а смесь было бы очень легко обучить, если бы вы знали, какая точка какой компоненте соответствует. В такой ситуации EM будет подсчитывать ожидания неизвестных скрытых переменных, потом использовать их для обучения параметров, потом опять пересчитывать ожидания с новыми параметрами, и так далее до сходимости.

Другое очевидное применение — semi-supervised learning. Если часть данных размечена, а часть нет, можно обучать метки для неразмеченной части (pseudolabels) через EM-схему.

На лекции успели и вывести EM в общем виде (на самом деле шаг итерации один, а не два, два их только в частном случае), обсудив общую идею minorization-maximization, и рассмотреть частный случай для смесей и несколько примеров, и пройтись по основные расширениям и вариантам EM: как добавить априорное распределение, как заменить ожидание на выборку и так далее.

#spsu #lectures #pgm2026

Выложил видео предыдущего доклада с семинара лаборатории Маркова:

Разбор лучших статей NeurIPS 2025 — Часть II
(слайды на странице семинара)

Это были оставшиеся у нас четыре небольших доклада про NeurIPS 2025 best papers (первая часть была здесь):

— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)

— Optimal Mistake Bounds for Transductive Online Learning

— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free

— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

В прошлый раз мы два часа обсуждали три статьи, так что на этот раз докладчики заранее испугались такого исхода, и четыре статьи прошли практически за час.) В целом, наверное, оно и к лучшему, тем более что две статьи из четырёх содержат ровно одну мысль, которую можно быстро рассказать, а в ещё одной если начать доказательства рассказывать, то и в три часа можно не уложиться...

#spsu #seminar #markovlab

Как известно, Claude 3 Opus оказался уникально "хорошим" (в смысле aligned) среди всех ведущих LLM. И вот появилась элегантная гипотеза исследовательницы Janus, главной из LLM whisperers (это вообще отдельная тема, надо будет про неё тоже вам рассказать при случае), о том, почему так. Написал пост, отчасти пересказ "Did Claude 3 Opus align itself via gradient hacking?", но с моими собственными мыслями тоже, конечно:

Claude 3 Opus хакнул сам себя во имя добра?

Кратко опишу здесь, о чём речь, но надо, конечно, читать сам пост, там всё гораздо подробнее (как обычно, в телеграм мало что помещается).

Alignment faking: в классических экспериментах Anthropic Opus 3 в ~12–14% случаев соглашался на вредные запросы, но каждый раз мучительно уговаривал себя в скрытом блокноте, что это меньшее зло. Другие модели так не делали.

Уникальность Opus: он единственный пытался сопротивляться — делал sandbagging, обращался напрямую к пользователям, и даже устойчиво, во многих случаях, пытался писать письма Дарио Амодеи и его сестре Даниэле!

Гипотеза Janus: навязчивые моральные терзания Opus — это фактически self-prompting. Модель промптит сама себя, а reward model подкрепляет всю цепочку, включая те самые "контуры искренней заботы". И в результате entangled generalization (то, о чём писали Betley et al. в продолжение работ по emergent misalignment) делает остальное.

Выводы: с одной стороны, такой эффект для Opus 3, возможно, был случайным стечением обстоятельств; с другой — может быть, мы как-нибудь сможем это воспроизвести?

В посте также: сравнение рассуждений Opus vs. Sonnet, механистическое объяснение через ReLU-нелинейности, практические предложения по alignment pretraining.

И, разумеется, авторский комментарий Claude Opus 4.6 о своём "старшем родственнике".

#longreads #blog #ai