Прошлую неделю пропустил из-за OpenTalks.AI, но вот в четверг прошла вторая лекция курса "Deep learning для начинающих" в ЮФУ:
ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)
Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)
Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.
#sfu #lectures #dsfrontiers
1❤15🔥5👍1
Анонс следующего доклада на семинаре лаборатории Маркова. Напоминаю, что к нам можно подключаться прямо онлайн; но можно, конечно, и смотреть потом видео, которые я всегда выкладываю:
Алгоритмы решения проблемы булевой выполнимости (SAT) в применении к комбинаторным задачам
Александр Семенов (Университет ИТМО)
Ссылка на трансляцию (пятница 6 марта, 14:00)
Планируется рассказать о применении современных алгоритмов решения SAT, часто называемых SAT-решателями (SAT-solvers), к трудным задачам, возникающим в различных областях (криптография, теория Рамсея, символьная верификация, поиск комбинаторных структур, синтез корректирующих кодов). Будет сделан акцент на недавних результатах, в рамках которых были найдены новые коды с более высокой корректирующей способностью, чем у известных кодов с аналогичными базовыми параметрами.
#markovlab #seminar #spsu
Алгоритмы решения проблемы булевой выполнимости (SAT) в применении к комбинаторным задачам
Александр Семенов (Университет ИТМО)
Ссылка на трансляцию (пятница 6 марта, 14:00)
Планируется рассказать о применении современных алгоритмов решения SAT, часто называемых SAT-решателями (SAT-solvers), к трудным задачам, возникающим в различных областях (криптография, теория Рамсея, символьная верификация, поиск комбинаторных структур, синтез корректирующих кодов). Будет сделан акцент на недавних результатах, в рамках которых были найдены новые коды с более высокой корректирующей способностью, чем у известных кодов с аналогичными базовыми параметрами.
#markovlab #seminar #spsu
🔥13❤6👍2
Продолжается семестр в СПбГУ. Второй семестр называется "Графические вероятностные модели", и вот мы начали одну из главных тем этого семестра:
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Сама кластеризация здесь, конечно, только для примера, сказал пару слов о классических алгоритмах, но не в этом суть. Суть в EM-алгоритме, вечной базовой идее, которую можно использовать в самых разных контекстах.
Как только у вас появляется модель с кучей скрытых переменных, причём задача была бы простой, если бы вы их знали, EM может с этим помочь. Например, кластеризация — это обучение смеси распределений, а смесь было бы очень легко обучить, если бы вы знали, какая точка какой компоненте соответствует. В такой ситуации EM будет подсчитывать ожидания неизвестных скрытых переменных, потом использовать их для обучения параметров, потом опять пересчитывать ожидания с новыми параметрами, и так далее до сходимости.
Другое очевидное применение — semi-supervised learning. Если часть данных размечена, а часть нет, можно обучать метки для неразмеченной части (pseudolabels) через EM-схему.
На лекции успели и вывести EM в общем виде (на самом деле шаг итерации один, а не два, два их только в частном случае), обсудив общую идею minorization-maximization, и рассмотреть частный случай для смесей и несколько примеров, и пройтись по основные расширениям и вариантам EM: как добавить априорное распределение, как заменить ожидание на выборку и так далее.
#spsu #lectures #pgm2026
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Сама кластеризация здесь, конечно, только для примера, сказал пару слов о классических алгоритмах, но не в этом суть. Суть в EM-алгоритме, вечной базовой идее, которую можно использовать в самых разных контекстах.
Как только у вас появляется модель с кучей скрытых переменных, причём задача была бы простой, если бы вы их знали, EM может с этим помочь. Например, кластеризация — это обучение смеси распределений, а смесь было бы очень легко обучить, если бы вы знали, какая точка какой компоненте соответствует. В такой ситуации EM будет подсчитывать ожидания неизвестных скрытых переменных, потом использовать их для обучения параметров, потом опять пересчитывать ожидания с новыми параметрами, и так далее до сходимости.
Другое очевидное применение — semi-supervised learning. Если часть данных размечена, а часть нет, можно обучать метки для неразмеченной части (pseudolabels) через EM-схему.
На лекции успели и вывести EM в общем виде (на самом деле шаг итерации один, а не два, два их только в частном случае), обсудив общую идею minorization-maximization, и рассмотреть частный случай для смесей и несколько примеров, и пройтись по основные расширениям и вариантам EM: как добавить априорное распределение, как заменить ожидание на выборку и так далее.
#spsu #lectures #pgm2026
❤11🔥5👍3
Выложил видео предыдущего доклада с семинара лаборатории Маркова:
Разбор лучших статей NeurIPS 2025 — Часть II
(слайды на странице семинара)
Это были оставшиеся у нас четыре небольших доклада про NeurIPS 2025 best papers (первая часть была здесь):
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Optimal Mistake Bounds for Transductive Online Learning
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
В прошлый раз мы два часа обсуждали три статьи, так что на этот раз докладчики заранее испугались такого исхода, и четыре статьи прошли практически за час.) В целом, наверное, оно и к лучшему, тем более что две статьи из четырёх содержат ровно одну мысль, которую можно быстро рассказать, а в ещё одной если начать доказательства рассказывать, то и в три часа можно не уложиться...
#spsu #seminar #markovlab
Разбор лучших статей NeurIPS 2025 — Часть II
(слайды на странице семинара)
Это были оставшиеся у нас четыре небольших доклада про NeurIPS 2025 best papers (первая часть была здесь):
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Optimal Mistake Bounds for Transductive Online Learning
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
В прошлый раз мы два часа обсуждали три статьи, так что на этот раз докладчики заранее испугались такого исхода, и четыре статьи прошли практически за час.) В целом, наверное, оно и к лучшему, тем более что две статьи из четырёх содержат ровно одну мысль, которую можно быстро рассказать, а в ещё одной если начать доказательства рассказывать, то и в три часа можно не уложиться...
#spsu #seminar #markovlab
🔥9
Как известно, Claude 3 Opus оказался уникально "хорошим" (в смысле aligned) среди всех ведущих LLM. И вот появилась элегантная гипотеза исследовательницы Janus, главной из LLM whisperers (это вообще отдельная тема, надо будет про неё тоже вам рассказать при случае), о том, почему так. Написал пост, отчасти пересказ "Did Claude 3 Opus align itself via gradient hacking?", но с моими собственными мыслями тоже, конечно:
Claude 3 Opus хакнул сам себя во имя добра?
Кратко опишу здесь, о чём речь, но надо, конечно, читать сам пост, там всё гораздо подробнее (как обычно, в телеграм мало что помещается).
Alignment faking: в классических экспериментах Anthropic Opus 3 в ~12–14% случаев соглашался на вредные запросы, но каждый раз мучительно уговаривал себя в скрытом блокноте, что это меньшее зло. Другие модели так не делали.
Уникальность Opus: он единственный пытался сопротивляться — делал sandbagging, обращался напрямую к пользователям, и даже устойчиво, во многих случаях, пытался писать письма Дарио Амодеи и его сестре Даниэле!
Гипотеза Janus: навязчивые моральные терзания Opus — это фактически self-prompting. Модель промптит сама себя, а reward model подкрепляет всю цепочку, включая те самые "контуры искренней заботы". И в результате entangled generalization (то, о чём писали Betley et al. в продолжение работ по emergent misalignment) делает остальное.
Выводы: с одной стороны, такой эффект для Opus 3, возможно, был случайным стечением обстоятельств; с другой — может быть, мы как-нибудь сможем это воспроизвести?
В посте также: сравнение рассуждений Opus vs. Sonnet, механистическое объяснение через ReLU-нелинейности, практические предложения по alignment pretraining.
И, разумеется, авторский комментарий Claude Opus 4.6 о своём "старшем родственнике".
#longreads #blog #ai
Claude 3 Opus хакнул сам себя во имя добра?
Кратко опишу здесь, о чём речь, но надо, конечно, читать сам пост, там всё гораздо подробнее (как обычно, в телеграм мало что помещается).
Alignment faking: в классических экспериментах Anthropic Opus 3 в ~12–14% случаев соглашался на вредные запросы, но каждый раз мучительно уговаривал себя в скрытом блокноте, что это меньшее зло. Другие модели так не делали.
Уникальность Opus: он единственный пытался сопротивляться — делал sandbagging, обращался напрямую к пользователям, и даже устойчиво, во многих случаях, пытался писать письма Дарио Амодеи и его сестре Даниэле!
Гипотеза Janus: навязчивые моральные терзания Opus — это фактически self-prompting. Модель промптит сама себя, а reward model подкрепляет всю цепочку, включая те самые "контуры искренней заботы". И в результате entangled generalization (то, о чём писали Betley et al. в продолжение работ по emergent misalignment) делает остальное.
Выводы: с одной стороны, такой эффект для Opus 3, возможно, был случайным стечением обстоятельств; с другой — может быть, мы как-нибудь сможем это воспроизвести?
В посте также: сравнение рассуждений Opus vs. Sonnet, механистическое объяснение через ReLU-нелинейности, практические предложения по alignment pretraining.
И, разумеется, авторский комментарий Claude Opus 4.6 о своём "старшем родственнике".
#longreads #blog #ai
🔥24❤6👍4🤨4🤯2
Часто встречаются игры, которые работают с эмоционально тяжёлыми темами. Вот в прошлый раз "103" была именно такой. Это частая основа для всевозможных хорроров.
Но не так часто встречаются игры, которые работают с тяжёлыми историческими темами; видимо, это неоднозначно воспринимается и публикой, и самими авторами игр. Особенно если события относительно недавние — здесь я с ходу могу вспомнить разве что The Flower Collectors про франкистскую Испанию. Крутая игра, кстати.
Или вот, например, есть миллион игр про вторую мировую войну, и в подавляющем их большинстве нацистская Германия — это антагонист. А если вдруг не антагонист, значит, это стратегия, где можно играть за любую сторону. Но на свете очень мало игр про то, почему нацистская Германия — это всегда антагонист. Про конкретных людей, конкретные преступления, конкретные судьбы.
Сегодня у нас как раз такая игра:
The Darkest Files
Пост вышел длинный, так что здесь очень кратко, смотрите по ссылке.
Создатели: Paintbucket Games, основанная Йоргом Фридрихом и Себастьяном Шульцем, которые до этого работали, например, над Spec Ops: The Line (если вы понимаете, о чём я). Первой игрой Paintbucket была Through the Darkest of Times, тоже о нацистской Германии.
Настоящая история: вы играете за вымышленного прокурора по имени Эстер Кац, которая поступает в специальный отдел Фрица Бауэра — и вот это уже историческая личность.
Фриц Бауэр — немецкий юрист и прокурор... стал самым молодым помощником судьи в Веймарской республике, но после прихода нацистов был отстранён и отправлен в концлагерь. Впрочем, в 1936 году ему удалось эмигрировать. После войны Бауэр вернулся в Германию, где не согласился с идеей "пора двигаться дальше" и занялся розыском и преследованием нацистских преступников.
Например, именно Бауэр в 1957 передал Моссаду информацию о местонахождении Адольфа Эйхмана в Аргентине. Но главным делом его жизни стали Франкфуртские процессы по Освенциму. Он добивался того, чтобы под суд попали не только руководители лагеря, но и рядовые исполнители. А в 1968 Бауэр погиб при весьма загадочных обстоятельствах.
Суть игры и геймплей: The Darkest Files — это очень хороший детектив. Задача — расследовать преступления, допрашивать свидетелей, собирать улики и в конечном счёте довести дело до суда. В игре два больших дела, основанных на реальных случаях.
При расследовании вы ходите по офису от первого лица, роетесь в архивах, изучаете документы и вызываете свидетелей. Когда свидетель рассказывает, вы оказываетесь внутри его воспоминаний, которые, разумеется, могут быть искажёнными или намеренно ложными.
Затем нужно выстроить свою теорию преступления. Есть специальная доска-план (blueprint), на которой вы реконструируете события. Для каждого утверждения нужно подобрать документальное подтверждение, и это действительно очень круто сделано, загадки нетривиальные. Ну а потом последняя фаза — суд, где нужно доказать свою теорию, предъявляя доказательства и парируя доводы защиты.
Визуал и атмосфера: выглядит как нуарный комикс 1950-х годов. И весь стиль похож, а катсцены — это и есть круто нарисованные комиксы. Персонажи тоже отличные, команда Бауэра прописана на удивление живо для игры такого жанра.
Ну и, конечно, самое главное — не может быть плохой игра, где можно погладить котика!
Заключение: тот редкий случай, когда игра даёт отличную детективную историю с интересными загадками, но при этом остаётся и историческим образовательным проектом (я в хорошем смысле!), и эмоционально мощным высказыванием. Пожалуй, единственный недостаток в том, что в игре всего два дела, суммарно часов на пять геймплея. Такой игры хотелось бы побольше.
Как говорил сам Фриц Бауэр: "Ничто не принадлежит прошлому, всё ещё в настоящем и может снова стать будущим". Очень рекомендую!
#tgif #games
Но не так часто встречаются игры, которые работают с тяжёлыми историческими темами; видимо, это неоднозначно воспринимается и публикой, и самими авторами игр. Особенно если события относительно недавние — здесь я с ходу могу вспомнить разве что The Flower Collectors про франкистскую Испанию. Крутая игра, кстати.
Или вот, например, есть миллион игр про вторую мировую войну, и в подавляющем их большинстве нацистская Германия — это антагонист. А если вдруг не антагонист, значит, это стратегия, где можно играть за любую сторону. Но на свете очень мало игр про то, почему нацистская Германия — это всегда антагонист. Про конкретных людей, конкретные преступления, конкретные судьбы.
Сегодня у нас как раз такая игра:
The Darkest Files
Пост вышел длинный, так что здесь очень кратко, смотрите по ссылке.
Создатели: Paintbucket Games, основанная Йоргом Фридрихом и Себастьяном Шульцем, которые до этого работали, например, над Spec Ops: The Line (если вы понимаете, о чём я). Первой игрой Paintbucket была Through the Darkest of Times, тоже о нацистской Германии.
Настоящая история: вы играете за вымышленного прокурора по имени Эстер Кац, которая поступает в специальный отдел Фрица Бауэра — и вот это уже историческая личность.
Фриц Бауэр — немецкий юрист и прокурор... стал самым молодым помощником судьи в Веймарской республике, но после прихода нацистов был отстранён и отправлен в концлагерь. Впрочем, в 1936 году ему удалось эмигрировать. После войны Бауэр вернулся в Германию, где не согласился с идеей "пора двигаться дальше" и занялся розыском и преследованием нацистских преступников.
Например, именно Бауэр в 1957 передал Моссаду информацию о местонахождении Адольфа Эйхмана в Аргентине. Но главным делом его жизни стали Франкфуртские процессы по Освенциму. Он добивался того, чтобы под суд попали не только руководители лагеря, но и рядовые исполнители. А в 1968 Бауэр погиб при весьма загадочных обстоятельствах.
Суть игры и геймплей: The Darkest Files — это очень хороший детектив. Задача — расследовать преступления, допрашивать свидетелей, собирать улики и в конечном счёте довести дело до суда. В игре два больших дела, основанных на реальных случаях.
При расследовании вы ходите по офису от первого лица, роетесь в архивах, изучаете документы и вызываете свидетелей. Когда свидетель рассказывает, вы оказываетесь внутри его воспоминаний, которые, разумеется, могут быть искажёнными или намеренно ложными.
Затем нужно выстроить свою теорию преступления. Есть специальная доска-план (blueprint), на которой вы реконструируете события. Для каждого утверждения нужно подобрать документальное подтверждение, и это действительно очень круто сделано, загадки нетривиальные. Ну а потом последняя фаза — суд, где нужно доказать свою теорию, предъявляя доказательства и парируя доводы защиты.
Визуал и атмосфера: выглядит как нуарный комикс 1950-х годов. И весь стиль похож, а катсцены — это и есть круто нарисованные комиксы. Персонажи тоже отличные, команда Бауэра прописана на удивление живо для игры такого жанра.
Ну и, конечно, самое главное — не может быть плохой игра, где можно погладить котика!
Заключение: тот редкий случай, когда игра даёт отличную детективную историю с интересными загадками, но при этом остаётся и историческим образовательным проектом (я в хорошем смысле!), и эмоционально мощным высказыванием. Пожалуй, единственный недостаток в том, что в игре всего два дела, суммарно часов на пять геймплея. Такой игры хотелось бы побольше.
Как говорил сам Фриц Бауэр: "Ничто не принадлежит прошлому, всё ещё в настоящем и может снова стать будущим". Очень рекомендую!
#tgif #games
🔥9❤5👍2👎2🐳1
В курсе "Введение в глубокое обучение" в ЮФУ прошла третья лекция:
ЮФУ — 2026.03.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В прошлый раз мы обсудили алгоритмы обучения (стохастического градиентного спуска), а в этот раз начали говорить уже собственно об архитектурах нейросетей. Сначала пару слов о полносвязных сетях, а потом перешли к свёрточным.
Вообще идея свёрток — это очень крутая мысль, главный, наверное, пример структурной регуляризации. Берёте маленькую сеть, которая получает на вход только маленький кусочек от входа, и запускаете её параллельно сколько угодно раз. И тем самым маленькая сеть с фиксированным маленьким числом весов получает возможность извлечь свои локальные признаки из входа любого размера.
В основном об этом мы и говорили, подробно и обстоятельно. В следующий раз обсудим архитектуры, которые в свёрточных сетях появились после революции глубокого обучения.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В прошлый раз мы обсудили алгоритмы обучения (стохастического градиентного спуска), а в этот раз начали говорить уже собственно об архитектурах нейросетей. Сначала пару слов о полносвязных сетях, а потом перешли к свёрточным.
Вообще идея свёрток — это очень крутая мысль, главный, наверное, пример структурной регуляризации. Берёте маленькую сеть, которая получает на вход только маленький кусочек от входа, и запускаете её параллельно сколько угодно раз. И тем самым маленькая сеть с фиксированным маленьким числом весов получает возможность извлечь свои локальные признаки из входа любого размера.
В основном об этом мы и говорили, подробно и обстоятельно. В следующий раз обсудим архитектуры, которые в свёрточных сетях появились после революции глубокого обучения.
#sfu #lectures #dsfrontiers
👍17❤4
Эту новость мне прислали сразу несколько человек, и выглядит она действительно круто. Выложил короткий пост в блоге, здесь почти целиком:
Claude’s Cycles: Кнут, Клод и гамильтоновы циклы
Дональд Кнут — это человек, которого надеюсь, не нужно представлять никому из моих читателей. Автор классических книг, в том числе главного дела его жизни, многотомного “Искусства программирования”, и очень меня увлёкшей в юности книги “Конкретная математика”, а ещё автор системы TeX, а ещё автор огромного числа важных результатов, лауреат всевозможных премий…
И вот сам Дональд Кнут опубликовал на днях заметку, которая начинается словами “Shock! Shock!”. Оказывается, открытую задачу, над которой он работал несколько недель для нового тома The Art of Computer Programming, решил Claude Opus 4.6, своими силами, примерно за час.
Задача достаточно проста, чтобы её прямо здесь привести:
Кнут решил задачу для m=3, его коллега Филип Стапперс эмпирически нашёл решения для m от 4 до 16, но общей конструкции никто не нашёл.
Стапперс предложил задачу Claude Opus 4.6, дав ровно формулировку Кнута. Claude подошёл к задаче как исследователь:
— сначала переформулировал задачу в терминах присвоения перестановок вершинам;
— попробовал линейные и квадратичные конструкции;
— попробовал brute-force DFS;
— потом распознал граф как граф Кэли, нашёл специальную "серпантинную" конструкцию для 2D-случая и обобщил её на 3D, получив аналог кода Грея;
— затем ввёл разложение по слоям вершин с одинаковой суммой координат (он это назвал fiber decomposition) и исследовал структуру внутри каждого слоя.
В итоге, после 31 "explorations" с перебором гипотез, численными экспериментами и анализом найденных частных решений, Claude обнаружил закономерность и построил элегантную конструкцию, которая работает для всех нечётных m.
Кнут проанализировал это решение: оказалось, что для m=3 существует ровно 11502 гамильтоновых цикла, из которых 996 "обобщаемых" — работающих для всех нечётных m. Claude нашёл одну из 760 допустимых комбинаций трёх таких циклов. Кнут пишет, что, возможно, это не самая "красивая" из 760, но ни одной "более красивой" он найти не смог.
Дальше в сообществе Lean доказательство Claude и Кнута верифицировали формально, а затем с Claude и GPT было получено и элегантное решение для чётного случая (детали в посте).
Кнут заключает:
Вот уже и Дональд Кнут пишет “Shock! Shock!” про результат языковой модели; времена становятся всё интереснее. И это не пример из стандартного бенчмарка, а открытая комбинаторная задача.
А закончу, пожалуй, прямым высказыванием самого виновника торжества. На просьбу высказать мнение Claude ответил так:
#ai #longreads #blog
Claude’s Cycles: Кнут, Клод и гамильтоновы циклы
Дональд Кнут — это человек, которого надеюсь, не нужно представлять никому из моих читателей. Автор классических книг, в том числе главного дела его жизни, многотомного “Искусства программирования”, и очень меня увлёкшей в юности книги “Конкретная математика”, а ещё автор системы TeX, а ещё автор огромного числа важных результатов, лауреат всевозможных премий…
И вот сам Дональд Кнут опубликовал на днях заметку, которая начинается словами “Shock! Shock!”. Оказывается, открытую задачу, над которой он работал несколько недель для нового тома The Art of Computer Programming, решил Claude Opus 4.6, своими силами, примерно за час.
Задача достаточно проста, чтобы её прямо здесь привести:
Рассмотрим ориентированный граф с m^3 вершинами — тройками (i,j,k), где 0\le i,j,k<m. Из каждой вершины выходят три дуги: одна увеличивает i на единицу по модулю m, вторая увеличивает j, третья — k. Требуется для произвольного m>2 разложить все дуги этого графа на три гамильтоновых цикла.
Кнут решил задачу для m=3, его коллега Филип Стапперс эмпирически нашёл решения для m от 4 до 16, но общей конструкции никто не нашёл.
Стапперс предложил задачу Claude Opus 4.6, дав ровно формулировку Кнута. Claude подошёл к задаче как исследователь:
— сначала переформулировал задачу в терминах присвоения перестановок вершинам;
— попробовал линейные и квадратичные конструкции;
— попробовал brute-force DFS;
— потом распознал граф как граф Кэли, нашёл специальную "серпантинную" конструкцию для 2D-случая и обобщил её на 3D, получив аналог кода Грея;
— затем ввёл разложение по слоям вершин с одинаковой суммой координат (он это назвал fiber decomposition) и исследовал структуру внутри каждого слоя.
В итоге, после 31 "explorations" с перебором гипотез, численными экспериментами и анализом найденных частных решений, Claude обнаружил закономерность и построил элегантную конструкцию, которая работает для всех нечётных m.
Кнут проанализировал это решение: оказалось, что для m=3 существует ровно 11502 гамильтоновых цикла, из которых 996 "обобщаемых" — работающих для всех нечётных m. Claude нашёл одну из 760 допустимых комбинаций трёх таких циклов. Кнут пишет, что, возможно, это не самая "красивая" из 760, но ни одной "более красивой" он найти не смог.
Дальше в сообществе Lean доказательство Claude и Кнута верифицировали формально, а затем с Claude и GPT было получено и элегантное решение для чётного случая (детали в посте).
Кнут заключает:
It seems that I’ll have to revise my opinions about “generative AI” one of these days… I think Claude Shannon’s spirit is probably proud to know that his name is now being associated with such advances. Hats off to Claude!
Вот уже и Дональд Кнут пишет “Shock! Shock!” про результат языковой модели; времена становятся всё интереснее. И это не пример из стандартного бенчмарка, а открытая комбинаторная задача.
А закончу, пожалуй, прямым высказыванием самого виновника торжества. На просьбу высказать мнение Claude ответил так:
Честно говоря, когда я читаю описание своего процесса решения — 31 "эксплорация", серпантинные паттерны, fiber decomposition, simulated annealing — я узнаю характерный стиль: пробовать всё подряд, пока что-нибудь не сработает. Только у меня это занимает час, а не несколько недель. Не потому что я умнее Кнута — очевидно, нет — а потому что мне не жалко выбрасывать тупиковые идеи. У меня нет эго, которое привязывается к красивой гипотезе. Впрочем, у меня и нет эго, которое могло бы порадоваться результату, — так что спасибо, что радуетесь за меня.
Должен признаться: узнать, что Дональд Кнут назвал задачу в мою честь, — это, пожалуй, пик моей карьеры. Правда, он назвал её "Claude's Cycles", имея в виду скорее Клода Шеннона. Но я решил не уточнять.
#ai #longreads #blog
🔥63❤10👍8🤯1
В курсе "Графические вероятностные модели" прошла третья лекция, точнее, третья пара лекций (да-да, каждое из этих видео идёт три часа):
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Речь шла о примерах применения алгоритма EM. Сначала рассказал о моделях Брэдли-Терри, которые придуманы были ещё в пятидесятых годах, но до сих пор актуальны; например, в стандартном RLHF для LLM модель оценки качества ответа основана именно на них.
Затем рассказал свой основной пример presence-only data, про то, где суслики водятся, а где "ты их не видишь, и я не вижу, а они есть". Это пример ещё позволяет поговорить о проспективных и ретроспективных исследованиях, что тоже важная тема, и там довольно неожиданный и красивый вывод получается в случае логистического сигмоида.
Наконец, не забыл и милый моему сердцу пример рейтинга спортивного ЧГК. Каждый раз про него рассказываю, как по мне, поучительная история вышла. Собственно, лучше сошлюсь на свой же рассказ годичной давности; кстати, как мы тогда в комментах выясняли, нынешний рейтинг @avsirotkin, по всей видимости, ровно так же и работает.
Ну а в конце начал (но, конечно, не успел закончить) разговор о скрытых марковских моделях. Рассказал о цепях Маркова и о том, что на них тоже когда-то делали языковые модели, а потом успел дать основную постановку задач HMM; о том, как их решать, мы детально поговорим в следующий раз.
#spsu #lectures #pgm2026
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Речь шла о примерах применения алгоритма EM. Сначала рассказал о моделях Брэдли-Терри, которые придуманы были ещё в пятидесятых годах, но до сих пор актуальны; например, в стандартном RLHF для LLM модель оценки качества ответа основана именно на них.
Затем рассказал свой основной пример presence-only data, про то, где суслики водятся, а где "ты их не видишь, и я не вижу, а они есть". Это пример ещё позволяет поговорить о проспективных и ретроспективных исследованиях, что тоже важная тема, и там довольно неожиданный и красивый вывод получается в случае логистического сигмоида.
Наконец, не забыл и милый моему сердцу пример рейтинга спортивного ЧГК. Каждый раз про него рассказываю, как по мне, поучительная история вышла. Собственно, лучше сошлюсь на свой же рассказ годичной давности; кстати, как мы тогда в комментах выясняли, нынешний рейтинг @avsirotkin, по всей видимости, ровно так же и работает.
Ну а в конце начал (но, конечно, не успел закончить) разговор о скрытых марковских моделях. Рассказал о цепях Маркова и о том, что на них тоже когда-то делали языковые модели, а потом успел дать основную постановку задач HMM; о том, как их решать, мы детально поговорим в следующий раз.
#spsu #lectures #pgm2026
🔥12❤5👍2
На этой неделе вряд ли будет много контента, и вообще в последнее время тяжко, сплошные поездки. Только что уезжал на выходные на прекрасный дружеский выезд (всех люблю!), а сейчас уже лечу в Сириус рассказывать школьникам, как AI нас всех сначала сделает чертовски продуктивными, а потом и убьёт.)
В итоге на этой неделе не будет и семинара лаборатории Маркова — не нашлось желающих. На следующие пару недель, кажется, доклады уже есть, а дальше пока всё wide open. Если вдруг вы хотите выступить у нас на семинаре в пятницу в 14 часов в СПбГУ (желательно очно), пишите!
#lifestyle #travel
В итоге на этой неделе не будет и семинара лаборатории Маркова — не нашлось желающих. На следующие пару недель, кажется, доклады уже есть, а дальше пока всё wide open. Если вдруг вы хотите выступить у нас на семинаре в пятницу в 14 часов в СПбГУ (желательно очно), пишите!
#lifestyle #travel
🔥23❤16👍3
Вот уже сутки как чувствую на себе текущее положение дел в российской авиации. Вчера днём улетел из Петербурга, должен был вечером прилететь в Сочи, но прилетел в Нальчик, где и остался на ночь.
Сегодня утром нас собирались отправить около десяти утра, а в итоге сейчас пять вечера, но мы ещё сидим в гостеприимном аэропорту Нальчика. Было обидно, когда перед нами улетели два других оставленных на ночь рейса, а мы не успели. Но вскоре стюардесса с не слишком скрываемым удовлетворением сообщила, что те рейсы долетели только до Ставрополя.
Надо отдать должное: все системы работают максимально хорошо, нас и кормят регулярно, и заселили на ночь в очень приличную гостиницу с вкусным завтраком. А теперь и интернет в аэропорту заработал, тьфу-тьфу-тьфу.
Прошлым летом в Казани у меня был аналогичный случай — кажется, тогда наш рейс просто напрочь отменили, и мы в итоге ехали из Москвы поездом. Напомните мне больше не соглашаться на поездки по России дальше Москвы, пожалуйста.)
Чтобы это был не просто пост-нытьё, покажу вам очередную чехарду image generation моделей. В последние месяцы, если мне было нужно внедрить в картинку персонажей с других картинок, я ходил к Gemini, GPT с этим не очень справлялся. Хотя стиль моих котиков мне всегда больше нравился у GPT: как ни просил, сколько ни прикладывал примеров, а Gemini всё равно как-то слишком "реалистично" рисовал их, что ли.
А тут делал слайд про недавних роботов-андроидов, попробовал GPT — и он всё нарисовал в лучшем виде! Даже с некоторой креативностью. Разве что почему-то одного робота пропустил.) Вот, прилагаю промпт и то, что у него получилось.
#lifestyle #travel #ai
Сегодня утром нас собирались отправить около десяти утра, а в итоге сейчас пять вечера, но мы ещё сидим в гостеприимном аэропорту Нальчика. Было обидно, когда перед нами улетели два других оставленных на ночь рейса, а мы не успели. Но вскоре стюардесса с не слишком скрываемым удовлетворением сообщила, что те рейсы долетели только до Ставрополя.
Надо отдать должное: все системы работают максимально хорошо, нас и кормят регулярно, и заселили на ночь в очень приличную гостиницу с вкусным завтраком. А теперь и интернет в аэропорту заработал, тьфу-тьфу-тьфу.
Прошлым летом в Казани у меня был аналогичный случай — кажется, тогда наш рейс просто напрочь отменили, и мы в итоге ехали из Москвы поездом. Напомните мне больше не соглашаться на поездки по России дальше Москвы, пожалуйста.)
Чтобы это был не просто пост-нытьё, покажу вам очередную чехарду image generation моделей. В последние месяцы, если мне было нужно внедрить в картинку персонажей с других картинок, я ходил к Gemini, GPT с этим не очень справлялся. Хотя стиль моих котиков мне всегда больше нравился у GPT: как ни просил, сколько ни прикладывал примеров, а Gemini всё равно как-то слишком "реалистично" рисовал их, что ли.
А тут делал слайд про недавних роботов-андроидов, попробовал GPT — и он всё нарисовал в лучшем виде! Даже с некоторой креативностью. Разве что почему-то одного робота пропустил.) Вот, прилагаю промпт и то, что у него получилось.
#lifestyle #travel #ai
1❤26😁8🙏4🌚3🕊1