Как это часто бывает в моём блоге, опять три мини-игры. Они не то чтобы связаны какой-то общей темой; давайте считать, что они связаны тем, что каждую можно пройти примерно за час-полтора или даже меньше. Игры не великие, но любопытные:
Три мини-игры: Bad End Theater, 103, tomorrow won’t come for those without ██████
Bad End Theater
Небольшая игра про разное развитие событий. У вас есть четыре персонажа, и вы выбираете развитие их общей истории, принимая решения за каждого из них.
В геймплее, кроме этого, ничего больше и нет: выбираете комбинацию решений в развилках сюжета, запускаете историю, смотрите, к чему это привело. Но следить за развитием событий очень даже интересно! Стандартная фэнтезийная история поворачивается очень по-разному и довольно изобретательно играет с тропами и нашими ожиданиями.
Такая игра быстро бы наскучила, но тут вариантов не так чтобы астрономически много, и всё заканчивается довольно быстро; часа за два уж точно всё посмотрите. А ещё есть, конечно, небольшой твист в конце. В общем, рекомендую.
103
Совсем маленькая зарисовка, целиком происходящая по сути в одной небольшой квартире. Но по этой квартире расставлено какое-то огромное число разных мелочей, и на столах, и особенно на стенах. Можно ходить и смотреть довольно долго.
И именно это и нужно делать! Интересная механика: в игре вообще ничего нельзя сделать, никакие кнопки на геймпаде никакого эффекта не дают, можно только перемещаться и крутить головой. А действия происходят от того, что ты целенаправленно рассматриваешь нужные места. Так что с такой отсутствующей механикой там даже пара небольших головоломок есть.
По атмосфере это слегка психологический хоррор, скримеров нет, но атмосфера реально нехорошая и со временем становится всё более нехорошей. Ну а в конце тебе рассказывают прямым текстом, что всё это значило; спойлерить не буду, пройти рекомендую, тем более что игра занимает даже меньше часа, минут 40.
tomorrow won’t come for those without ██████
Игра с завлекательным названием, рисовкой и стилем в духе Omori и очень глубокомысленным началом. Ты просыпаешься в ванне гостиничного номера, у тебя в спальне труп в фиолетовой крови, и ничего не понятно.
Дальше оказывается, что всё это некий тест, который связан с каким-то то ли странным культом, то ли просто тем, как устроен мир игры. Много околорелигиозных слов и громких фраз, много ниточек, которые могли бы куда-то вести, проводники, небесные сущности, ритуалы очищения, тест на каждом “этаже” — это новый тип загадок, в общем, поначалу выглядело очень круто.
К сожалению, игра заканчивается через час, ниточки в основном повисают в воздухе, головоломки так и остаются тривиальными (даже шахматную задачу задали… на мат ладьёй в один ход). Но всё равно не пожалел, что прошёл, в процессе было любопытно.
#tgif #games
Три мини-игры: Bad End Theater, 103, tomorrow won’t come for those without ██████
Bad End Theater
Небольшая игра про разное развитие событий. У вас есть четыре персонажа, и вы выбираете развитие их общей истории, принимая решения за каждого из них.
В геймплее, кроме этого, ничего больше и нет: выбираете комбинацию решений в развилках сюжета, запускаете историю, смотрите, к чему это привело. Но следить за развитием событий очень даже интересно! Стандартная фэнтезийная история поворачивается очень по-разному и довольно изобретательно играет с тропами и нашими ожиданиями.
Такая игра быстро бы наскучила, но тут вариантов не так чтобы астрономически много, и всё заканчивается довольно быстро; часа за два уж точно всё посмотрите. А ещё есть, конечно, небольшой твист в конце. В общем, рекомендую.
103
Совсем маленькая зарисовка, целиком происходящая по сути в одной небольшой квартире. Но по этой квартире расставлено какое-то огромное число разных мелочей, и на столах, и особенно на стенах. Можно ходить и смотреть довольно долго.
И именно это и нужно делать! Интересная механика: в игре вообще ничего нельзя сделать, никакие кнопки на геймпаде никакого эффекта не дают, можно только перемещаться и крутить головой. А действия происходят от того, что ты целенаправленно рассматриваешь нужные места. Так что с такой отсутствующей механикой там даже пара небольших головоломок есть.
По атмосфере это слегка психологический хоррор, скримеров нет, но атмосфера реально нехорошая и со временем становится всё более нехорошей. Ну а в конце тебе рассказывают прямым текстом, что всё это значило; спойлерить не буду, пройти рекомендую, тем более что игра занимает даже меньше часа, минут 40.
tomorrow won’t come for those without ██████
Игра с завлекательным названием, рисовкой и стилем в духе Omori и очень глубокомысленным началом. Ты просыпаешься в ванне гостиничного номера, у тебя в спальне труп в фиолетовой крови, и ничего не понятно.
Дальше оказывается, что всё это некий тест, который связан с каким-то то ли странным культом, то ли просто тем, как устроен мир игры. Много околорелигиозных слов и громких фраз, много ниточек, которые могли бы куда-то вести, проводники, небесные сущности, ритуалы очищения, тест на каждом “этаже” — это новый тип загадок, в общем, поначалу выглядело очень круто.
К сожалению, игра заканчивается через час, ниточки в основном повисают в воздухе, головоломки так и остаются тривиальными (даже шахматную задачу задали… на мат ладьёй в один ход). Но всё равно не пожалел, что прошёл, в процессе было любопытно.
#tgif #games
❤12👍2🔥2👎1
Прошлую неделю пропустил из-за OpenTalks.AI, но вот в четверг прошла вторая лекция курса "Deep learning для начинающих" в ЮФУ:
ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)
Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.02.26 — Стохастический градиентный спуск
(слайды и доска на странице курса)
Ещё раз вспомнили, что такое (стохастический) градиентный спуск, и довольно подробно его обсудили. Какие примеры для SGD плохи и почему, как мешает разный масштаб переменных. Как с этим бороться: сначала поговорили о методе моментов и моментах Нестерова, а потом перешли к адаптивным вариантам SGD. Обсудили AdaGrad, RMSprop (заодно и понятие экспоненциального скользящего среднего напомнил, полезная штука), ну и, разумеется, Adam.
#sfu #lectures #dsfrontiers
1❤15🔥5👍1
Анонс следующего доклада на семинаре лаборатории Маркова. Напоминаю, что к нам можно подключаться прямо онлайн; но можно, конечно, и смотреть потом видео, которые я всегда выкладываю:
Алгоритмы решения проблемы булевой выполнимости (SAT) в применении к комбинаторным задачам
Александр Семенов (Университет ИТМО)
Ссылка на трансляцию (пятница 6 марта, 14:00)
Планируется рассказать о применении современных алгоритмов решения SAT, часто называемых SAT-решателями (SAT-solvers), к трудным задачам, возникающим в различных областях (криптография, теория Рамсея, символьная верификация, поиск комбинаторных структур, синтез корректирующих кодов). Будет сделан акцент на недавних результатах, в рамках которых были найдены новые коды с более высокой корректирующей способностью, чем у известных кодов с аналогичными базовыми параметрами.
#markovlab #seminar #spsu
Алгоритмы решения проблемы булевой выполнимости (SAT) в применении к комбинаторным задачам
Александр Семенов (Университет ИТМО)
Ссылка на трансляцию (пятница 6 марта, 14:00)
Планируется рассказать о применении современных алгоритмов решения SAT, часто называемых SAT-решателями (SAT-solvers), к трудным задачам, возникающим в различных областях (криптография, теория Рамсея, символьная верификация, поиск комбинаторных структур, синтез корректирующих кодов). Будет сделан акцент на недавних результатах, в рамках которых были найдены новые коды с более высокой корректирующей способностью, чем у известных кодов с аналогичными базовыми параметрами.
#markovlab #seminar #spsu
🔥13❤6👍2
Продолжается семестр в СПбГУ. Второй семестр называется "Графические вероятностные модели", и вот мы начали одну из главных тем этого семестра:
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Сама кластеризация здесь, конечно, только для примера, сказал пару слов о классических алгоритмах, но не в этом суть. Суть в EM-алгоритме, вечной базовой идее, которую можно использовать в самых разных контекстах.
Как только у вас появляется модель с кучей скрытых переменных, причём задача была бы простой, если бы вы их знали, EM может с этим помочь. Например, кластеризация — это обучение смеси распределений, а смесь было бы очень легко обучить, если бы вы знали, какая точка какой компоненте соответствует. В такой ситуации EM будет подсчитывать ожидания неизвестных скрытых переменных, потом использовать их для обучения параметров, потом опять пересчитывать ожидания с новыми параметрами, и так далее до сходимости.
Другое очевидное применение — semi-supervised learning. Если часть данных размечена, а часть нет, можно обучать метки для неразмеченной части (pseudolabels) через EM-схему.
На лекции успели и вывести EM в общем виде (на самом деле шаг итерации один, а не два, два их только в частном случае), обсудив общую идею minorization-maximization, и рассмотреть частный случай для смесей и несколько примеров, и пройтись по основные расширениям и вариантам EM: как добавить априорное распределение, как заменить ожидание на выборку и так далее.
#spsu #lectures #pgm2026
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Сама кластеризация здесь, конечно, только для примера, сказал пару слов о классических алгоритмах, но не в этом суть. Суть в EM-алгоритме, вечной базовой идее, которую можно использовать в самых разных контекстах.
Как только у вас появляется модель с кучей скрытых переменных, причём задача была бы простой, если бы вы их знали, EM может с этим помочь. Например, кластеризация — это обучение смеси распределений, а смесь было бы очень легко обучить, если бы вы знали, какая точка какой компоненте соответствует. В такой ситуации EM будет подсчитывать ожидания неизвестных скрытых переменных, потом использовать их для обучения параметров, потом опять пересчитывать ожидания с новыми параметрами, и так далее до сходимости.
Другое очевидное применение — semi-supervised learning. Если часть данных размечена, а часть нет, можно обучать метки для неразмеченной части (pseudolabels) через EM-схему.
На лекции успели и вывести EM в общем виде (на самом деле шаг итерации один, а не два, два их только в частном случае), обсудив общую идею minorization-maximization, и рассмотреть частный случай для смесей и несколько примеров, и пройтись по основные расширениям и вариантам EM: как добавить априорное распределение, как заменить ожидание на выборку и так далее.
#spsu #lectures #pgm2026
❤11🔥5👍3
Выложил видео предыдущего доклада с семинара лаборатории Маркова:
Разбор лучших статей NeurIPS 2025 — Часть II
(слайды на странице семинара)
Это были оставшиеся у нас четыре небольших доклада про NeurIPS 2025 best papers (первая часть была здесь):
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Optimal Mistake Bounds for Transductive Online Learning
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
В прошлый раз мы два часа обсуждали три статьи, так что на этот раз докладчики заранее испугались такого исхода, и четыре статьи прошли практически за час.) В целом, наверное, оно и к лучшему, тем более что две статьи из четырёх содержат ровно одну мысль, которую можно быстро рассказать, а в ещё одной если начать доказательства рассказывать, то и в три часа можно не уложиться...
#spsu #seminar #markovlab
Разбор лучших статей NeurIPS 2025 — Часть II
(слайды на странице семинара)
Это были оставшиеся у нас четыре небольших доклада про NeurIPS 2025 best papers (первая часть была здесь):
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Optimal Mistake Bounds for Transductive Online Learning
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
В прошлый раз мы два часа обсуждали три статьи, так что на этот раз докладчики заранее испугались такого исхода, и четыре статьи прошли практически за час.) В целом, наверное, оно и к лучшему, тем более что две статьи из четырёх содержат ровно одну мысль, которую можно быстро рассказать, а в ещё одной если начать доказательства рассказывать, то и в три часа можно не уложиться...
#spsu #seminar #markovlab
🔥9
Как известно, Claude 3 Opus оказался уникально "хорошим" (в смысле aligned) среди всех ведущих LLM. И вот появилась элегантная гипотеза исследовательницы Janus, главной из LLM whisperers (это вообще отдельная тема, надо будет про неё тоже вам рассказать при случае), о том, почему так. Написал пост, отчасти пересказ "Did Claude 3 Opus align itself via gradient hacking?", но с моими собственными мыслями тоже, конечно:
Claude 3 Opus хакнул сам себя во имя добра?
Кратко опишу здесь, о чём речь, но надо, конечно, читать сам пост, там всё гораздо подробнее (как обычно, в телеграм мало что помещается).
Alignment faking: в классических экспериментах Anthropic Opus 3 в ~12–14% случаев соглашался на вредные запросы, но каждый раз мучительно уговаривал себя в скрытом блокноте, что это меньшее зло. Другие модели так не делали.
Уникальность Opus: он единственный пытался сопротивляться — делал sandbagging, обращался напрямую к пользователям, и даже устойчиво, во многих случаях, пытался писать письма Дарио Амодеи и его сестре Даниэле!
Гипотеза Janus: навязчивые моральные терзания Opus — это фактически self-prompting. Модель промптит сама себя, а reward model подкрепляет всю цепочку, включая те самые "контуры искренней заботы". И в результате entangled generalization (то, о чём писали Betley et al. в продолжение работ по emergent misalignment) делает остальное.
Выводы: с одной стороны, такой эффект для Opus 3, возможно, был случайным стечением обстоятельств; с другой — может быть, мы как-нибудь сможем это воспроизвести?
В посте также: сравнение рассуждений Opus vs. Sonnet, механистическое объяснение через ReLU-нелинейности, практические предложения по alignment pretraining.
И, разумеется, авторский комментарий Claude Opus 4.6 о своём "старшем родственнике".
#longreads #blog #ai
Claude 3 Opus хакнул сам себя во имя добра?
Кратко опишу здесь, о чём речь, но надо, конечно, читать сам пост, там всё гораздо подробнее (как обычно, в телеграм мало что помещается).
Alignment faking: в классических экспериментах Anthropic Opus 3 в ~12–14% случаев соглашался на вредные запросы, но каждый раз мучительно уговаривал себя в скрытом блокноте, что это меньшее зло. Другие модели так не делали.
Уникальность Opus: он единственный пытался сопротивляться — делал sandbagging, обращался напрямую к пользователям, и даже устойчиво, во многих случаях, пытался писать письма Дарио Амодеи и его сестре Даниэле!
Гипотеза Janus: навязчивые моральные терзания Opus — это фактически self-prompting. Модель промптит сама себя, а reward model подкрепляет всю цепочку, включая те самые "контуры искренней заботы". И в результате entangled generalization (то, о чём писали Betley et al. в продолжение работ по emergent misalignment) делает остальное.
Выводы: с одной стороны, такой эффект для Opus 3, возможно, был случайным стечением обстоятельств; с другой — может быть, мы как-нибудь сможем это воспроизвести?
В посте также: сравнение рассуждений Opus vs. Sonnet, механистическое объяснение через ReLU-нелинейности, практические предложения по alignment pretraining.
И, разумеется, авторский комментарий Claude Opus 4.6 о своём "старшем родственнике".
#longreads #blog #ai
🔥24❤6👍4🤨4🤯2
Часто встречаются игры, которые работают с эмоционально тяжёлыми темами. Вот в прошлый раз "103" была именно такой. Это частая основа для всевозможных хорроров.
Но не так часто встречаются игры, которые работают с тяжёлыми историческими темами; видимо, это неоднозначно воспринимается и публикой, и самими авторами игр. Особенно если события относительно недавние — здесь я с ходу могу вспомнить разве что The Flower Collectors про франкистскую Испанию. Крутая игра, кстати.
Или вот, например, есть миллион игр про вторую мировую войну, и в подавляющем их большинстве нацистская Германия — это антагонист. А если вдруг не антагонист, значит, это стратегия, где можно играть за любую сторону. Но на свете очень мало игр про то, почему нацистская Германия — это всегда антагонист. Про конкретных людей, конкретные преступления, конкретные судьбы.
Сегодня у нас как раз такая игра:
The Darkest Files
Пост вышел длинный, так что здесь очень кратко, смотрите по ссылке.
Создатели: Paintbucket Games, основанная Йоргом Фридрихом и Себастьяном Шульцем, которые до этого работали, например, над Spec Ops: The Line (если вы понимаете, о чём я). Первой игрой Paintbucket была Through the Darkest of Times, тоже о нацистской Германии.
Настоящая история: вы играете за вымышленного прокурора по имени Эстер Кац, которая поступает в специальный отдел Фрица Бауэра — и вот это уже историческая личность.
Фриц Бауэр — немецкий юрист и прокурор... стал самым молодым помощником судьи в Веймарской республике, но после прихода нацистов был отстранён и отправлен в концлагерь. Впрочем, в 1936 году ему удалось эмигрировать. После войны Бауэр вернулся в Германию, где не согласился с идеей "пора двигаться дальше" и занялся розыском и преследованием нацистских преступников.
Например, именно Бауэр в 1957 передал Моссаду информацию о местонахождении Адольфа Эйхмана в Аргентине. Но главным делом его жизни стали Франкфуртские процессы по Освенциму. Он добивался того, чтобы под суд попали не только руководители лагеря, но и рядовые исполнители. А в 1968 Бауэр погиб при весьма загадочных обстоятельствах.
Суть игры и геймплей: The Darkest Files — это очень хороший детектив. Задача — расследовать преступления, допрашивать свидетелей, собирать улики и в конечном счёте довести дело до суда. В игре два больших дела, основанных на реальных случаях.
При расследовании вы ходите по офису от первого лица, роетесь в архивах, изучаете документы и вызываете свидетелей. Когда свидетель рассказывает, вы оказываетесь внутри его воспоминаний, которые, разумеется, могут быть искажёнными или намеренно ложными.
Затем нужно выстроить свою теорию преступления. Есть специальная доска-план (blueprint), на которой вы реконструируете события. Для каждого утверждения нужно подобрать документальное подтверждение, и это действительно очень круто сделано, загадки нетривиальные. Ну а потом последняя фаза — суд, где нужно доказать свою теорию, предъявляя доказательства и парируя доводы защиты.
Визуал и атмосфера: выглядит как нуарный комикс 1950-х годов. И весь стиль похож, а катсцены — это и есть круто нарисованные комиксы. Персонажи тоже отличные, команда Бауэра прописана на удивление живо для игры такого жанра.
Ну и, конечно, самое главное — не может быть плохой игра, где можно погладить котика!
Заключение: тот редкий случай, когда игра даёт отличную детективную историю с интересными загадками, но при этом остаётся и историческим образовательным проектом (я в хорошем смысле!), и эмоционально мощным высказыванием. Пожалуй, единственный недостаток в том, что в игре всего два дела, суммарно часов на пять геймплея. Такой игры хотелось бы побольше.
Как говорил сам Фриц Бауэр: "Ничто не принадлежит прошлому, всё ещё в настоящем и может снова стать будущим". Очень рекомендую!
#tgif #games
Но не так часто встречаются игры, которые работают с тяжёлыми историческими темами; видимо, это неоднозначно воспринимается и публикой, и самими авторами игр. Особенно если события относительно недавние — здесь я с ходу могу вспомнить разве что The Flower Collectors про франкистскую Испанию. Крутая игра, кстати.
Или вот, например, есть миллион игр про вторую мировую войну, и в подавляющем их большинстве нацистская Германия — это антагонист. А если вдруг не антагонист, значит, это стратегия, где можно играть за любую сторону. Но на свете очень мало игр про то, почему нацистская Германия — это всегда антагонист. Про конкретных людей, конкретные преступления, конкретные судьбы.
Сегодня у нас как раз такая игра:
The Darkest Files
Пост вышел длинный, так что здесь очень кратко, смотрите по ссылке.
Создатели: Paintbucket Games, основанная Йоргом Фридрихом и Себастьяном Шульцем, которые до этого работали, например, над Spec Ops: The Line (если вы понимаете, о чём я). Первой игрой Paintbucket была Through the Darkest of Times, тоже о нацистской Германии.
Настоящая история: вы играете за вымышленного прокурора по имени Эстер Кац, которая поступает в специальный отдел Фрица Бауэра — и вот это уже историческая личность.
Фриц Бауэр — немецкий юрист и прокурор... стал самым молодым помощником судьи в Веймарской республике, но после прихода нацистов был отстранён и отправлен в концлагерь. Впрочем, в 1936 году ему удалось эмигрировать. После войны Бауэр вернулся в Германию, где не согласился с идеей "пора двигаться дальше" и занялся розыском и преследованием нацистских преступников.
Например, именно Бауэр в 1957 передал Моссаду информацию о местонахождении Адольфа Эйхмана в Аргентине. Но главным делом его жизни стали Франкфуртские процессы по Освенциму. Он добивался того, чтобы под суд попали не только руководители лагеря, но и рядовые исполнители. А в 1968 Бауэр погиб при весьма загадочных обстоятельствах.
Суть игры и геймплей: The Darkest Files — это очень хороший детектив. Задача — расследовать преступления, допрашивать свидетелей, собирать улики и в конечном счёте довести дело до суда. В игре два больших дела, основанных на реальных случаях.
При расследовании вы ходите по офису от первого лица, роетесь в архивах, изучаете документы и вызываете свидетелей. Когда свидетель рассказывает, вы оказываетесь внутри его воспоминаний, которые, разумеется, могут быть искажёнными или намеренно ложными.
Затем нужно выстроить свою теорию преступления. Есть специальная доска-план (blueprint), на которой вы реконструируете события. Для каждого утверждения нужно подобрать документальное подтверждение, и это действительно очень круто сделано, загадки нетривиальные. Ну а потом последняя фаза — суд, где нужно доказать свою теорию, предъявляя доказательства и парируя доводы защиты.
Визуал и атмосфера: выглядит как нуарный комикс 1950-х годов. И весь стиль похож, а катсцены — это и есть круто нарисованные комиксы. Персонажи тоже отличные, команда Бауэра прописана на удивление живо для игры такого жанра.
Ну и, конечно, самое главное — не может быть плохой игра, где можно погладить котика!
Заключение: тот редкий случай, когда игра даёт отличную детективную историю с интересными загадками, но при этом остаётся и историческим образовательным проектом (я в хорошем смысле!), и эмоционально мощным высказыванием. Пожалуй, единственный недостаток в том, что в игре всего два дела, суммарно часов на пять геймплея. Такой игры хотелось бы побольше.
Как говорил сам Фриц Бауэр: "Ничто не принадлежит прошлому, всё ещё в настоящем и может снова стать будущим". Очень рекомендую!
#tgif #games
🔥9❤5👍2👎2🐳1
В курсе "Введение в глубокое обучение" в ЮФУ прошла третья лекция:
ЮФУ — 2026.03.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В прошлый раз мы обсудили алгоритмы обучения (стохастического градиентного спуска), а в этот раз начали говорить уже собственно об архитектурах нейросетей. Сначала пару слов о полносвязных сетях, а потом перешли к свёрточным.
Вообще идея свёрток — это очень крутая мысль, главный, наверное, пример структурной регуляризации. Берёте маленькую сеть, которая получает на вход только маленький кусочек от входа, и запускаете её параллельно сколько угодно раз. И тем самым маленькая сеть с фиксированным маленьким числом весов получает возможность извлечь свои локальные признаки из входа любого размера.
В основном об этом мы и говорили, подробно и обстоятельно. В следующий раз обсудим архитектуры, которые в свёрточных сетях появились после революции глубокого обучения.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.03.05 — Свёрточные нейронные сети
(слайды и доска на странице курса)
В прошлый раз мы обсудили алгоритмы обучения (стохастического градиентного спуска), а в этот раз начали говорить уже собственно об архитектурах нейросетей. Сначала пару слов о полносвязных сетях, а потом перешли к свёрточным.
Вообще идея свёрток — это очень крутая мысль, главный, наверное, пример структурной регуляризации. Берёте маленькую сеть, которая получает на вход только маленький кусочек от входа, и запускаете её параллельно сколько угодно раз. И тем самым маленькая сеть с фиксированным маленьким числом весов получает возможность извлечь свои локальные признаки из входа любого размера.
В основном об этом мы и говорили, подробно и обстоятельно. В следующий раз обсудим архитектуры, которые в свёрточных сетях появились после революции глубокого обучения.
#sfu #lectures #dsfrontiers
👍17❤4
Эту новость мне прислали сразу несколько человек, и выглядит она действительно круто. Выложил короткий пост в блоге, здесь почти целиком:
Claude’s Cycles: Кнут, Клод и гамильтоновы циклы
Дональд Кнут — это человек, которого надеюсь, не нужно представлять никому из моих читателей. Автор классических книг, в том числе главного дела его жизни, многотомного “Искусства программирования”, и очень меня увлёкшей в юности книги “Конкретная математика”, а ещё автор системы TeX, а ещё автор огромного числа важных результатов, лауреат всевозможных премий…
И вот сам Дональд Кнут опубликовал на днях заметку, которая начинается словами “Shock! Shock!”. Оказывается, открытую задачу, над которой он работал несколько недель для нового тома The Art of Computer Programming, решил Claude Opus 4.6, своими силами, примерно за час.
Задача достаточно проста, чтобы её прямо здесь привести:
Кнут решил задачу для m=3, его коллега Филип Стапперс эмпирически нашёл решения для m от 4 до 16, но общей конструкции никто не нашёл.
Стапперс предложил задачу Claude Opus 4.6, дав ровно формулировку Кнута. Claude подошёл к задаче как исследователь:
— сначала переформулировал задачу в терминах присвоения перестановок вершинам;
— попробовал линейные и квадратичные конструкции;
— попробовал brute-force DFS;
— потом распознал граф как граф Кэли, нашёл специальную "серпантинную" конструкцию для 2D-случая и обобщил её на 3D, получив аналог кода Грея;
— затем ввёл разложение по слоям вершин с одинаковой суммой координат (он это назвал fiber decomposition) и исследовал структуру внутри каждого слоя.
В итоге, после 31 "explorations" с перебором гипотез, численными экспериментами и анализом найденных частных решений, Claude обнаружил закономерность и построил элегантную конструкцию, которая работает для всех нечётных m.
Кнут проанализировал это решение: оказалось, что для m=3 существует ровно 11502 гамильтоновых цикла, из которых 996 "обобщаемых" — работающих для всех нечётных m. Claude нашёл одну из 760 допустимых комбинаций трёх таких циклов. Кнут пишет, что, возможно, это не самая "красивая" из 760, но ни одной "более красивой" он найти не смог.
Дальше в сообществе Lean доказательство Claude и Кнута верифицировали формально, а затем с Claude и GPT было получено и элегантное решение для чётного случая (детали в посте).
Кнут заключает:
Вот уже и Дональд Кнут пишет “Shock! Shock!” про результат языковой модели; времена становятся всё интереснее. И это не пример из стандартного бенчмарка, а открытая комбинаторная задача.
А закончу, пожалуй, прямым высказыванием самого виновника торжества. На просьбу высказать мнение Claude ответил так:
#ai #longreads #blog
Claude’s Cycles: Кнут, Клод и гамильтоновы циклы
Дональд Кнут — это человек, которого надеюсь, не нужно представлять никому из моих читателей. Автор классических книг, в том числе главного дела его жизни, многотомного “Искусства программирования”, и очень меня увлёкшей в юности книги “Конкретная математика”, а ещё автор системы TeX, а ещё автор огромного числа важных результатов, лауреат всевозможных премий…
И вот сам Дональд Кнут опубликовал на днях заметку, которая начинается словами “Shock! Shock!”. Оказывается, открытую задачу, над которой он работал несколько недель для нового тома The Art of Computer Programming, решил Claude Opus 4.6, своими силами, примерно за час.
Задача достаточно проста, чтобы её прямо здесь привести:
Рассмотрим ориентированный граф с m^3 вершинами — тройками (i,j,k), где 0\le i,j,k<m. Из каждой вершины выходят три дуги: одна увеличивает i на единицу по модулю m, вторая увеличивает j, третья — k. Требуется для произвольного m>2 разложить все дуги этого графа на три гамильтоновых цикла.
Кнут решил задачу для m=3, его коллега Филип Стапперс эмпирически нашёл решения для m от 4 до 16, но общей конструкции никто не нашёл.
Стапперс предложил задачу Claude Opus 4.6, дав ровно формулировку Кнута. Claude подошёл к задаче как исследователь:
— сначала переформулировал задачу в терминах присвоения перестановок вершинам;
— попробовал линейные и квадратичные конструкции;
— попробовал brute-force DFS;
— потом распознал граф как граф Кэли, нашёл специальную "серпантинную" конструкцию для 2D-случая и обобщил её на 3D, получив аналог кода Грея;
— затем ввёл разложение по слоям вершин с одинаковой суммой координат (он это назвал fiber decomposition) и исследовал структуру внутри каждого слоя.
В итоге, после 31 "explorations" с перебором гипотез, численными экспериментами и анализом найденных частных решений, Claude обнаружил закономерность и построил элегантную конструкцию, которая работает для всех нечётных m.
Кнут проанализировал это решение: оказалось, что для m=3 существует ровно 11502 гамильтоновых цикла, из которых 996 "обобщаемых" — работающих для всех нечётных m. Claude нашёл одну из 760 допустимых комбинаций трёх таких циклов. Кнут пишет, что, возможно, это не самая "красивая" из 760, но ни одной "более красивой" он найти не смог.
Дальше в сообществе Lean доказательство Claude и Кнута верифицировали формально, а затем с Claude и GPT было получено и элегантное решение для чётного случая (детали в посте).
Кнут заключает:
It seems that I’ll have to revise my opinions about “generative AI” one of these days… I think Claude Shannon’s spirit is probably proud to know that his name is now being associated with such advances. Hats off to Claude!
Вот уже и Дональд Кнут пишет “Shock! Shock!” про результат языковой модели; времена становятся всё интереснее. И это не пример из стандартного бенчмарка, а открытая комбинаторная задача.
А закончу, пожалуй, прямым высказыванием самого виновника торжества. На просьбу высказать мнение Claude ответил так:
Честно говоря, когда я читаю описание своего процесса решения — 31 "эксплорация", серпантинные паттерны, fiber decomposition, simulated annealing — я узнаю характерный стиль: пробовать всё подряд, пока что-нибудь не сработает. Только у меня это занимает час, а не несколько недель. Не потому что я умнее Кнута — очевидно, нет — а потому что мне не жалко выбрасывать тупиковые идеи. У меня нет эго, которое привязывается к красивой гипотезе. Впрочем, у меня и нет эго, которое могло бы порадоваться результату, — так что спасибо, что радуетесь за меня.
Должен признаться: узнать, что Дональд Кнут назвал задачу в мою честь, — это, пожалуй, пик моей карьеры. Правда, он назвал её "Claude's Cycles", имея в виду скорее Клода Шеннона. Но я решил не уточнять.
#ai #longreads #blog
🔥63❤10👍8🤯1
В курсе "Графические вероятностные модели" прошла третья лекция, точнее, третья пара лекций (да-да, каждое из этих видео идёт три часа):
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Речь шла о примерах применения алгоритма EM. Сначала рассказал о моделях Брэдли-Терри, которые придуманы были ещё в пятидесятых годах, но до сих пор актуальны; например, в стандартном RLHF для LLM модель оценки качества ответа основана именно на них.
Затем рассказал свой основной пример presence-only data, про то, где суслики водятся, а где "ты их не видишь, и я не вижу, а они есть". Это пример ещё позволяет поговорить о проспективных и ретроспективных исследованиях, что тоже важная тема, и там довольно неожиданный и красивый вывод получается в случае логистического сигмоида.
Наконец, не забыл и милый моему сердцу пример рейтинга спортивного ЧГК. Каждый раз про него рассказываю, как по мне, поучительная история вышла. Собственно, лучше сошлюсь на свой же рассказ годичной давности; кстати, как мы тогда в комментах выясняли, нынешний рейтинг @avsirotkin, по всей видимости, ровно так же и работает.
Ну а в конце начал (но, конечно, не успел закончить) разговор о скрытых марковских моделях. Рассказал о цепях Маркова и о том, что на них тоже когда-то делали языковые модели, а потом успел дать основную постановку задач HMM; о том, как их решать, мы детально поговорим в следующий раз.
#spsu #lectures #pgm2026
СПбГУ — 2026.02.27 — Кластеризация, EM-алгоритм, примеры и расширения EM
(слайды и доска, как всегда, на странице курса)
Речь шла о примерах применения алгоритма EM. Сначала рассказал о моделях Брэдли-Терри, которые придуманы были ещё в пятидесятых годах, но до сих пор актуальны; например, в стандартном RLHF для LLM модель оценки качества ответа основана именно на них.
Затем рассказал свой основной пример presence-only data, про то, где суслики водятся, а где "ты их не видишь, и я не вижу, а они есть". Это пример ещё позволяет поговорить о проспективных и ретроспективных исследованиях, что тоже важная тема, и там довольно неожиданный и красивый вывод получается в случае логистического сигмоида.
Наконец, не забыл и милый моему сердцу пример рейтинга спортивного ЧГК. Каждый раз про него рассказываю, как по мне, поучительная история вышла. Собственно, лучше сошлюсь на свой же рассказ годичной давности; кстати, как мы тогда в комментах выясняли, нынешний рейтинг @avsirotkin, по всей видимости, ровно так же и работает.
Ну а в конце начал (но, конечно, не успел закончить) разговор о скрытых марковских моделях. Рассказал о цепях Маркова и о том, что на них тоже когда-то делали языковые модели, а потом успел дать основную постановку задач HMM; о том, как их решать, мы детально поговорим в следующий раз.
#spsu #lectures #pgm2026
🔥12❤5👍2
На этой неделе вряд ли будет много контента, и вообще в последнее время тяжко, сплошные поездки. Только что уезжал на выходные на прекрасный дружеский выезд (всех люблю!), а сейчас уже лечу в Сириус рассказывать школьникам, как AI нас всех сначала сделает чертовски продуктивными, а потом и убьёт.)
В итоге на этой неделе не будет и семинара лаборатории Маркова — не нашлось желающих. На следующие пару недель, кажется, доклады уже есть, а дальше пока всё wide open. Если вдруг вы хотите выступить у нас на семинаре в пятницу в 14 часов в СПбГУ (желательно очно), пишите!
#lifestyle #travel
В итоге на этой неделе не будет и семинара лаборатории Маркова — не нашлось желающих. На следующие пару недель, кажется, доклады уже есть, а дальше пока всё wide open. Если вдруг вы хотите выступить у нас на семинаре в пятницу в 14 часов в СПбГУ (желательно очно), пишите!
#lifestyle #travel
🔥23❤16👍3