На OpenTalks.AI я был очень впечатлён новой работой группы Дмитрия Ветрова, в частности Ильдуса Садртдинова, о которой Дмитрий там рассказывал (Sadrtdinov et al., ноябрь 2025). Звучит совершенно восхитительно: термодинамика и уравнения идеального газа для обучения нейронных сетей.

Я действительно давненько так не вдохновлялся идеей, так что написал для вас подробный пост с разбором основной их аналогии:

Нейросети как идеальный газ: термодинамика обучения нейронных сетей

Сразу предупреждаю, что красивых картинок в этом посте почти совсем не будет, а будет много формул, но формулы эти куда краше любых картинок. Давайте разберёмся!

Как обычно, пост сюда ну никак не влезет, поэтому вот только оглавление и заключение:

1. Введение: откуда здесь взялась физика

2. Термодинамика за 15 минут: то, что вам нужно знать

— Что такое термодинамика
— Первый и второй законы
— Распределение Гиббса: “функция потерь” термодинамики
— Термодинамические потенциалы: что минимизируется
— Соотношения Максвелла
— Идеальный газ: простейшая модель

2. Масштабно-инвариантные нейросети и аналогии с термодинамикой

— Что такое scale invariance
— Effective learning rate
— Стационарное распределение SGD

3. Точные аналогии: словарь перевода

4. Верификация теории: три протокола обучения

— Протокол 1: обучение на фиксированной сфере
— Протокол 2: фиксированный ELR с weight decay
— Протокол 3: фиксированная скорость обучения

4. Эксперименты

— V1: стационарный радиус
— V2: минимизация термодинамических потенциалов
— V3: соотношения Максвелла
— V4: адиабатический процесс

5. От идеального газа к реальной сети

6. Зачем всё это нужно: практические следствия

— Learning rate scheduling
— Weight averaging
— Интуиция для дизайна гиперпараметров

7. Предположения и дальнейшие идеи

8. Заключение

Работа Ильдуса Садртдинова и других коллег из группы Ветрова показывает, что аналогия между обучением нейросетей и термодинамикой — это не просто красивая метафора, а количественно точное соответствие (по крайней мере, для scale-invariant сетей с SGD). Уравнение идеального газа pV = RT связывает weight decay, норму весов, learning rate и дисперсию шума в единую формулу. Соотношения Максвелла дают конкретные, проверяемые предсказания о поведении энтропии. Адиабатические инварианты описывают, как менять гиперпараметры, сохраняя уровень энтропии.

Думаю, самое важное здесь — не конкретные формулы, а сам факт: статистическая физика, разработанная для описания поведения газов и для конструирования паровых машин, оказывается правильным языком для описания обучения нейронных сетей в наше время.

Термодинамика — это наука о системах с огромным числом степеней свободы и сложными взаимодействиями, где тем не менее возникает простое макроскопическое описание. Нейросети — это тоже системы с огромным числом степеней свободы и сложными взаимодействиями.

И ещё должен признаться, что в этом посте я оставил за кадром не-школьную часть работы. На самом деле в статистической физике появляются стохастические дифференциальные уравнения, описывающие эволюцию системы, и те же диффуры начинают описывать и процесс эволюции весов у нейросети. Но об этом как-нибудь в другой раз — очень хочется надеяться, что будет повод.

#ai #longreads #blog

Выложил доклад Георгия Ангени на семинаре лаборатории Маркова:

Семинар Markov Lab — 2026.02.20 — Спекулятивное декодирование: от теории к SOTA-архитектурам ускорения LLM
(Слайды на странице семинара)

Отличный доклад о том, как ускорить inference в LLM через так называемое спекулятивное декодирование (speculative decoding), которое использует маленькую "draft model", чтобы предсказать сразу много следующих токенов, а большую модель использует для их верификации (которую можно делать параллельно).

Завтра уже новый семинар — подключайтесь!

#spsu #seminar #markovlab

Прошлогодние долги на семинаре отдали, теперь будем смотреть в будущее. Докладчики на новый семестр очень даже набираются, тьфу-тьфу-тьфу.

#spsu #seminar #markovlab