В прекрасном мультсериале “Disenchantment” (очень рекомендую!) есть раса эльфов, носящих говорящие имена. Они все заканчиваются на -o: Shocko, Watcho, Weirdo, Annoyo и так далее до собственно Elfo, одного из главных героев. С играми тоже так бывает, и сегодня у нас обзоры двух таких маленьких игр-эльфов; обе мне весьма понравились! Полный пост по ссылке:
Игры-эльфы: Carto и Gato Roboto
Carto
Милая небольшая головоломка, которая развивает одну и ту же механику: главная героиня — юный картограф, её карта игрового мира составлена из кусочков (почти всегда квадратных тайлов), и героиня может вращать каждый кусочек по отдельности, составляя из них карту в новых сочетаниях. Нужно только, чтобы тайлы подходили друг к другу, как в Carcassonne. Иногда это просто позволяет тебе пройти в нужное место, а иногда нужно составить специальные формы из тайлов, которые что-нибудь откроют.
Вот пример буквально из трейлера игры, так что спойлером его трудно назвать. Сначала слегка сумасшедшая сова рисует круг на земле и показывает, что тебе туда. Из этого тебе нужно догадаться, что нужно сделать круглую замкнутую речку, и тогда на острове в центре появится новый объект (персонаж в данном случае).
A ещё здесь есть бесконечно добрый и милый сюжет. В нём героиня ищет свою бабушку, летающую где-то на своём стимпанковском воздушном судне, а по дороге знакомится с обитателями разных биомов этого мира и их (порой странноватыми) обычаями. Впрочем, глубины сюжета или мощного лора тут не ждите: один из дизайнеров игры Ли-Куо Чен говорил, что вдохновение для нарратива игры они черпали из Atlas des Géographes d'Orbæ, прекрасной, но детской книги с картинками.
И сюжет, и мягкий юмор прекрасно подходят сути игры: ненавязчивая головоломка часов на пять. Кстати, играл на Steam Deck и могу сказать, что это идеальная игра для гейминга на ходу: одна глава занимает примерно полчаса, то есть как раз одну-две поездки в метро, а главы почти независимы. Рекомендую!
Gato Roboto
Далёкое будущее, а может, и далёкая галактика. Пилот космического корабля по имени Гэри отправляется к планете, с которой получил сигнал бедствия. На планете расположен некий исследовательский центр.
Однако происходит незапланированное: Кики, кошка Гэри, прогулялась по клавиатуре, и космический корабль падает прямо на какую-то лабораторию!
В результате пилот оказывается в ловушке, и спасать его должна Кики. Она оказывается очень смышлёной кошечкой (не то что Майлз!) и отправляется на поиски способа спасти хозяина. Так начинается 2D-метроидвания с очаровательной однобитной графикой, в которой Кики умеет бегать, прыгать, лазать по стенам и плавать, но умирает от первого касания любого врага.
К счастью, Кики вскоре находит костюм меха-робота, в котором у неё появляется health bar, две разные пушки, rocket jump и всё такое.
Я так подробно рассказал о завязке сюжета потому, что о самой игре особенно сказать нечего: это просто хорошая метроидвания (кажется, я недавно уже такое говорил). Главные её особенности — это необычная однобитная графика (один из collectibles в игре — аудиокассеты, которые дают тебе новые “палитры”… то есть заменяют белый цвет на другой оттенок) и забавная история про котика, которая по ходу игры очень хорошо раскрывается.
Но не беспокойтесь, всё закончится хорошо и быстро; Gato Roboto проходится часа за три-четыре (если вы не из этих, которым надо 100%). Ничего особенного, но пройти было приятно, рекомендую.
#games #tgif
Игры-эльфы: Carto и Gato Roboto
Carto
Милая небольшая головоломка, которая развивает одну и ту же механику: главная героиня — юный картограф, её карта игрового мира составлена из кусочков (почти всегда квадратных тайлов), и героиня может вращать каждый кусочек по отдельности, составляя из них карту в новых сочетаниях. Нужно только, чтобы тайлы подходили друг к другу, как в Carcassonne. Иногда это просто позволяет тебе пройти в нужное место, а иногда нужно составить специальные формы из тайлов, которые что-нибудь откроют.
Вот пример буквально из трейлера игры, так что спойлером его трудно назвать. Сначала слегка сумасшедшая сова рисует круг на земле и показывает, что тебе туда. Из этого тебе нужно догадаться, что нужно сделать круглую замкнутую речку, и тогда на острове в центре появится новый объект (персонаж в данном случае).
A ещё здесь есть бесконечно добрый и милый сюжет. В нём героиня ищет свою бабушку, летающую где-то на своём стимпанковском воздушном судне, а по дороге знакомится с обитателями разных биомов этого мира и их (порой странноватыми) обычаями. Впрочем, глубины сюжета или мощного лора тут не ждите: один из дизайнеров игры Ли-Куо Чен говорил, что вдохновение для нарратива игры они черпали из Atlas des Géographes d'Orbæ, прекрасной, но детской книги с картинками.
И сюжет, и мягкий юмор прекрасно подходят сути игры: ненавязчивая головоломка часов на пять. Кстати, играл на Steam Deck и могу сказать, что это идеальная игра для гейминга на ходу: одна глава занимает примерно полчаса, то есть как раз одну-две поездки в метро, а главы почти независимы. Рекомендую!
Gato Roboto
Далёкое будущее, а может, и далёкая галактика. Пилот космического корабля по имени Гэри отправляется к планете, с которой получил сигнал бедствия. На планете расположен некий исследовательский центр.
Однако происходит незапланированное: Кики, кошка Гэри, прогулялась по клавиатуре, и космический корабль падает прямо на какую-то лабораторию!
В результате пилот оказывается в ловушке, и спасать его должна Кики. Она оказывается очень смышлёной кошечкой (не то что Майлз!) и отправляется на поиски способа спасти хозяина. Так начинается 2D-метроидвания с очаровательной однобитной графикой, в которой Кики умеет бегать, прыгать, лазать по стенам и плавать, но умирает от первого касания любого врага.
К счастью, Кики вскоре находит костюм меха-робота, в котором у неё появляется health bar, две разные пушки, rocket jump и всё такое.
Я так подробно рассказал о завязке сюжета потому, что о самой игре особенно сказать нечего: это просто хорошая метроидвания (кажется, я недавно уже такое говорил). Главные её особенности — это необычная однобитная графика (один из collectibles в игре — аудиокассеты, которые дают тебе новые “палитры”… то есть заменяют белый цвет на другой оттенок) и забавная история про котика, которая по ходу игры очень хорошо раскрывается.
Но не беспокойтесь, всё закончится хорошо и быстро; Gato Roboto проходится часа за три-четыре (если вы не из этих, которым надо 100%). Ничего особенного, но пройти было приятно, рекомендую.
#games #tgif
❤7
В курсе "Глубокое обучение" в четверг продолжали обсуждать GAN'ы:
СПбГУ — 2025.10.30 — Порождающие состязательные сети
(слайды и доска на странице курса)
Поскольку у нас в этот раз больше времени на deep learning, я решил обсудить GAN'ы чуть подробнее, чем обычно; но всё равно, конечно, куда менее подробно, чем я это делал пять лет назад, когда GAN'ы были передним краем порождающих моделей не только в узких областях (как сейчас).
Тем не менее, мне кажется, что здесь есть много интересных идей, которые всё равно стоит изучить: ProGAN, который превращает порождение в последовательность задач superresolution, функции ошибки для GAN'ов в целом и особенно Wasserstein GAN в частности (там вообще очень глубокая идея в основе лежит, которую я всем рекомендую понять), состязательные автокодировщики (AAE) и так далее.
В последней части лекции рассказал case study про перенос стиля (style transfer): что это такое, базовая идея переноса стиля ещё до GAN'ов (Gatys et al., 2015), pix2pix, CycleGAN, AdaIN и немножко StyleGAN. Эту часть я уже комкал и уплотнял без заззрения совести, это не так важно — хотя, на мой взгляд, здесь опять же много крутых идей. В общем, рекомендую с GAN'ами всё-таки познакомиться, там на удивление много прикольных идей, которые можно рассказать на пальцах и которые при этом вполне работают.
#spsu #lectures #dl2025
СПбГУ — 2025.10.30 — Порождающие состязательные сети
(слайды и доска на странице курса)
Поскольку у нас в этот раз больше времени на deep learning, я решил обсудить GAN'ы чуть подробнее, чем обычно; но всё равно, конечно, куда менее подробно, чем я это делал пять лет назад, когда GAN'ы были передним краем порождающих моделей не только в узких областях (как сейчас).
Тем не менее, мне кажется, что здесь есть много интересных идей, которые всё равно стоит изучить: ProGAN, который превращает порождение в последовательность задач superresolution, функции ошибки для GAN'ов в целом и особенно Wasserstein GAN в частности (там вообще очень глубокая идея в основе лежит, которую я всем рекомендую понять), состязательные автокодировщики (AAE) и так далее.
В последней части лекции рассказал case study про перенос стиля (style transfer): что это такое, базовая идея переноса стиля ещё до GAN'ов (Gatys et al., 2015), pix2pix, CycleGAN, AdaIN и немножко StyleGAN. Эту часть я уже комкал и уплотнял без заззрения совести, это не так важно — хотя, на мой взгляд, здесь опять же много крутых идей. В общем, рекомендую с GAN'ами всё-таки познакомиться, там на удивление много прикольных идей, которые можно рассказать на пальцах и которые при этом вполне работают.
#spsu #lectures #dl2025
❤14
А вот ещё одно выступление, которому уже почти месяц: в начале октября выступал на конференции КИИ 2025 (XXII Национальная конференция по искусственному интеллекту, если формально). По сути это был мой обычный доклад о рассуждающих моделях и о том, как они начинают потихонечку двигать науку:
КИИ 2025 — 2025.10.07 — Рассуждающие модели и их успехи в науке
(слайды как всегда на страничке моих выступлений)
Спасибо за приглашение Игорю Витальевичу Котенко! Что до самого мероприятия, я, честно говоря, ожидал на КИИ некоторого скепсиса по отношению ко всем этим вашим новомодным LLM'кам. Но на самом деле слушали меня с большим интересом, а сессию вопросов пришлось прервать, так как программа конференции и так уже существенно задерживалась.
Не буду тут уже повторять все те тезисы, которые я и так каждый раз высказываю, и в этом докладе тоже высказывал; в общем, в интересные времена живём, товарищи.
#talks #conference
КИИ 2025 — 2025.10.07 — Рассуждающие модели и их успехи в науке
(слайды как всегда на страничке моих выступлений)
Спасибо за приглашение Игорю Витальевичу Котенко! Что до самого мероприятия, я, честно говоря, ожидал на КИИ некоторого скепсиса по отношению ко всем этим вашим новомодным LLM'кам. Но на самом деле слушали меня с большим интересом, а сессию вопросов пришлось прервать, так как программа конференции и так уже существенно задерживалась.
Не буду тут уже повторять все те тезисы, которые я и так каждый раз высказываю, и в этом докладе тоже высказывал; в общем, в интересные времена живём, товарищи.
#talks #conference
🔥12❤6😍1
В курсе "Технологии и фронтиры науки о данных" в ЮФУ на этот раз уже закончили с историей вопроса и перешли (thank God) к содержательной части:
ЮФУ — 2025.10.30 — Вероятностные основы машинного обучения
(слайды и доска на странице курса)
К этой части я приступал с некоторым трепетом, потому что, как вы понимаете, в популярных лекциях для первокурсников нельзя предполагать, что у студентов уже были курсы теорвера и матстатистики. Но вроде бы всё не так плохо, теорвер нынче в школе так или иначе проходят, и студенты в чате отвечали на мои вопросы достаточно бодро, хоть частенько и неправильно. :)
В общем, первая вероятностная лекция прошла в воспоминаниях о том, что такое вероятность, что такой байесовский взгляд на вероятности, а также в обсуждении вероятностных примеров, которые я обычно вспоминаю: ошибки прокурора и адвоката, пример Монти Холла (парадоксом его язык не очень поворачивается назвать), парадокс Спящей красавицы (а вот тут и правда есть о чём порассуждать).
В следующий раз попробую всё-таки рассказать о том, как обучать монетку, а то и о линейной регрессии. Надеюсь, прокатит.)
#sfu #lectures #dsfrontiers
ЮФУ — 2025.10.30 — Вероятностные основы машинного обучения
(слайды и доска на странице курса)
К этой части я приступал с некоторым трепетом, потому что, как вы понимаете, в популярных лекциях для первокурсников нельзя предполагать, что у студентов уже были курсы теорвера и матстатистики. Но вроде бы всё не так плохо, теорвер нынче в школе так или иначе проходят, и студенты в чате отвечали на мои вопросы достаточно бодро, хоть частенько и неправильно. :)
В общем, первая вероятностная лекция прошла в воспоминаниях о том, что такое вероятность, что такой байесовский взгляд на вероятности, а также в обсуждении вероятностных примеров, которые я обычно вспоминаю: ошибки прокурора и адвоката, пример Монти Холла (парадоксом его язык не очень поворачивается назвать), парадокс Спящей красавицы (а вот тут и правда есть о чём порассуждать).
В следующий раз попробую всё-таки рассказать о том, как обучать монетку, а то и о линейной регрессии. Надеюсь, прокатит.)
#sfu #lectures #dsfrontiers
👍14❤5
И вот мы заканчиваем серию рассказов о Mamba на семинаре лаборатории Маркова. Дойдём на этот раз уже до самых последних результатов: например, статья про Mamba-3 появилась на openreview 18 сентября 2025 года.
Последние новости: Gated Delta Networks и Mamba-3
Ссылка на трансляцию (среда 5 ноября, 14:00)
Никита Денисов, Александр Комнацкий
(Лаборатория Маркова, МКН СПбГУ)
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.
#markovlab #seminar #spsu
Последние новости: Gated Delta Networks и Mamba-3
Ссылка на трансляцию (среда 5 ноября, 14:00)
Никита Денисов, Александр Комнацкий
(Лаборатория Маркова, МКН СПбГУ)
Мы заканчиваем разбор моделей на основе SSM. В этот раз расскажем сразу про два свежих продолжения этой линии работ: Gated Delta Networks (ICLR 2025) и Mamba-3 (подана на ICLR 2026). Обе модели развивают идеи линейных рекуррентных архитектур и показывают, как SSM может конкурировать с трансформерами на всё более сложных задачах.
Gated DeltaNet строится на базе Mamba-2 и объединяет два подхода к управлению памятью — «gating» и «delta rule». Это позволяет модели выбирать, что забывать полностью, а что обновлять выборочно, при этом сохраняя эффективность и адаптированность к длинным контекстам.
Mamba-3 делает следующий шаг — переосмысливает саму структуру SSM с точки зрения эффективного инференса. В ней появляются более выразительная рекуррентная динамика, комплексные обновления состояния и MIMO‑формулировка (multi-input, multi-output), что делает её быстрее и мощнее без увеличения вычислительных затрат на порождение.
#markovlab #seminar #spsu
🔥11
А пока читатели уже слушают трансляцию нового семинара в лаборатории Маркова (слушаете же, правда? :) ), вот видео предыдущего:
Mamba 2: SSM и механизм внимания
(Слайды на странице семинара)
На этот раз доклад получился довольно коротким, меньше часа. Это, конечно, связано с логической структурой: Андрей рассказал замкнутый кусочек про Mamba 2 и связь между SSM и механизмами внимания, которая лежит в основе Mamba 2, а остальной материал серии (про gated delta networks) уже лучше будет излагать вместе с Mamba 3.
Зато с доской вроде бы всё устаканилось, я начал носить отдельную вебкамеру и теперь всё видно, а к небольшому видеомонтажу мне уже давно не привыкать. Впрочем, в этой лекции на доске был только один совсем небольшой кусочек.
#markovlab #seminar #spsu
Mamba 2: SSM и механизм внимания
(Слайды на странице семинара)
На этот раз доклад получился довольно коротким, меньше часа. Это, конечно, связано с логической структурой: Андрей рассказал замкнутый кусочек про Mamba 2 и связь между SSM и механизмами внимания, которая лежит в основе Mamba 2, а остальной материал серии (про gated delta networks) уже лучше будет излагать вместе с Mamba 3.
Зато с доской вроде бы всё устаканилось, я начал носить отдельную вебкамеру и теперь всё видно, а к небольшому видеомонтажу мне уже давно не привыкать. Впрочем, в этой лекции на доске был только один совсем небольшой кусочек.
#markovlab #seminar #spsu
❤7
Нарушу размеренное течение контента необычным видео. Месяца полтора назад меня позвали гостем в телепередачу "Очевидно. Вероятно" на ОТР. Позвал, вероятно (очевидно!), собственно Арутюн Ишханович Аветисян, ведущий передачи, которому за это спасибо! И вот передача вышла:
Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)
Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.
Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)
#publications #press #talks
Есть ли пределы искусственному интеллекту? — "Очевидно. Вероятно"
(и вот страница передачи на сайте ОТР)
Мне предложили выбор, о чём в области AI лучше поспрашивать, а я тогда как раз был только что с яндексовских дебатов, так что вариант с разговором об ответственности разработчиков AI-моделей меня более чем устраивал. Об этом в итоге и поговорили. Мой сегмент начинается с 29:26, на странице "Выступления" отметил этот таймкод.
Это был интересный опыт, спасибо большое коллегам за приглашение! Рад буду при случае поговорить ещё.)
#publications #press #talks
👍22🔥15❤8😍1
Я больше люблю короткие игры: и самому больше нравится закрыть все гештальты за пару вечеров, и еженедельные обзоры на сточасовые игры явно не получились бы.) Но вот в эту игру захотелось провалиться. Я написал большой обзор, так что настоятельно рекомендую пройти по ссылке, а здесь только структуру воспроизведу:
Blue Prince
Эта игра изрядно нашумела в момент выхода, на неё было много обзоров, так что думаю, что вы слышали о ней и без меня. Но всё равно хочется засвидетельствовать почтение: это великолепный... roguelike-квест! Автор открыл новый жанр и показал, как совместить в одной игре принципы "ещё один забег и спать", "как же это решить, я теперь не засну" и "у меня есть идея, сейчас её проверю и спать". [...]
История создания
Blue Prince — дебютный проект студии Dogubomb, но на самом деле её разрабатывал по сути один человек — Тонда Рос (Tonda Ros), который до 2016 года вообще не занимался разработкой игр [...]
Главным источником вдохновения для Blue Prince была легендарная книга Кристофера Мэнсона "Maze" [...]
Среди других источников — задачи Гарднера и Смаллиана, настольные игры с механикой драфтинга, классические Myst и Riven, книги жанра “armchair treasure hunt” [...]
О чём игра: жанр и геймплей
Blue Prince — это гибрид жанров, который Рос называет “архитектурным приключением”. По сути, это квест от первого лица с элементами roguelike и стратегии [...]
Сюжет прост: молодой человек приезжает в родовое поместье, чтобы получить наследство. Но, разумеется, есть условие: он должен найти тайную 46-ю комнату в особняке, где на первый взгляд их только 45 [...]
Каждый день дом меняется: проходя через дверь, игрок получает выбор из трёх случайно комнат-карт, из которых нужно выбрать ту, которая и появится на чертеже особняка; эта механика драфтинга — главная новизна игры, которая отлично сочетается с головоломками [...]
Загадки в Blue Prince великолепные. Я когда-то восхищался игрой Lorelei and the Laser Eyes, так вот, тут ещё интереснее получается. [...]
Например... [...] Или, например... [...]
Некоторые сложности
Мне понадобилось примерно 23-24 часа, чтобы найти комнату 46 и увидеть титры; это не спойлер, эту задачу ставят вам в самом начале. Однако — и это тоже, думаю, не спойлер — на этом игра совершенно не заканчивается! [...]
В итоге в папке осталось более двухсот пятидесяти скриншотов [...]
Кстати, в игре есть глубоко проработанный лор, и хотя я не добрался до того момента, когда придётся сдавать экзамен по истории Ориндии (поверьте, такой момент там наверняка будет), впечатлиться я успел... А кроме истории, есть ещё и текущая политика [...]
Пожалуй, это единственный "недостаток", который я могу выделить: слишком уж много всего в игре... Высокая продолжительность вытекает не столько из сложности, сколько из roguelike-сути игры: бывает, что для того, чтобы продвинуться дальше, нужно вытащить определённую комбинацию комнат или комнату с какими-то дополнительными условиями. А это может не случаться забег за забегом [...]
В первые двадцать часов, впрочем, это совершенно не беспокоит: у тебя всегда есть сразу много ниточек и возможностей для продвижения, и если одна из них требует везения, ничего страшного [...]
Заключение
Blue Prince стала одной из самых высокооценённых игр года: 92 балла на Metacritic, 96% рекомендаций на OpenCritic. [...]
И я совершенно согласен с критиками: это действительно уникальное достижение в мире инди-игр и головоломок. Восемь лет упорной работы дали миру игру, которая открыла новый жанр, оставаясь при этом чертовски увлекательным приключением. Да, это игра для тех, кто готов потратить десятки часов на разгадывание тайн, в ней нужно делать заметки и скриншоты, а иногда терпеливо полагаться на везение. Но Blue Prince дарит то самое чувство открытия и триумфа, когда очередная загадка наконец поддаётся. Очень рекомендую, к прохождению обязательна! И постарайтесь не читать спойлеров.
#tgif #games
Blue Prince
Эта игра изрядно нашумела в момент выхода, на неё было много обзоров, так что думаю, что вы слышали о ней и без меня. Но всё равно хочется засвидетельствовать почтение: это великолепный... roguelike-квест! Автор открыл новый жанр и показал, как совместить в одной игре принципы "ещё один забег и спать", "как же это решить, я теперь не засну" и "у меня есть идея, сейчас её проверю и спать". [...]
История создания
Blue Prince — дебютный проект студии Dogubomb, но на самом деле её разрабатывал по сути один человек — Тонда Рос (Tonda Ros), который до 2016 года вообще не занимался разработкой игр [...]
Главным источником вдохновения для Blue Prince была легендарная книга Кристофера Мэнсона "Maze" [...]
Среди других источников — задачи Гарднера и Смаллиана, настольные игры с механикой драфтинга, классические Myst и Riven, книги жанра “armchair treasure hunt” [...]
О чём игра: жанр и геймплей
Blue Prince — это гибрид жанров, который Рос называет “архитектурным приключением”. По сути, это квест от первого лица с элементами roguelike и стратегии [...]
Сюжет прост: молодой человек приезжает в родовое поместье, чтобы получить наследство. Но, разумеется, есть условие: он должен найти тайную 46-ю комнату в особняке, где на первый взгляд их только 45 [...]
Каждый день дом меняется: проходя через дверь, игрок получает выбор из трёх случайно комнат-карт, из которых нужно выбрать ту, которая и появится на чертеже особняка; эта механика драфтинга — главная новизна игры, которая отлично сочетается с головоломками [...]
Загадки в Blue Prince великолепные. Я когда-то восхищался игрой Lorelei and the Laser Eyes, так вот, тут ещё интереснее получается. [...]
Например... [...] Или, например... [...]
Некоторые сложности
Мне понадобилось примерно 23-24 часа, чтобы найти комнату 46 и увидеть титры; это не спойлер, эту задачу ставят вам в самом начале. Однако — и это тоже, думаю, не спойлер — на этом игра совершенно не заканчивается! [...]
В итоге в папке осталось более двухсот пятидесяти скриншотов [...]
Кстати, в игре есть глубоко проработанный лор, и хотя я не добрался до того момента, когда придётся сдавать экзамен по истории Ориндии (поверьте, такой момент там наверняка будет), впечатлиться я успел... А кроме истории, есть ещё и текущая политика [...]
Пожалуй, это единственный "недостаток", который я могу выделить: слишком уж много всего в игре... Высокая продолжительность вытекает не столько из сложности, сколько из roguelike-сути игры: бывает, что для того, чтобы продвинуться дальше, нужно вытащить определённую комбинацию комнат или комнату с какими-то дополнительными условиями. А это может не случаться забег за забегом [...]
В первые двадцать часов, впрочем, это совершенно не беспокоит: у тебя всегда есть сразу много ниточек и возможностей для продвижения, и если одна из них требует везения, ничего страшного [...]
Заключение
Blue Prince стала одной из самых высокооценённых игр года: 92 балла на Metacritic, 96% рекомендаций на OpenCritic. [...]
И я совершенно согласен с критиками: это действительно уникальное достижение в мире инди-игр и головоломок. Восемь лет упорной работы дали миру игру, которая открыла новый жанр, оставаясь при этом чертовски увлекательным приключением. Да, это игра для тех, кто готов потратить десятки часов на разгадывание тайн, в ней нужно делать заметки и скриншоты, а иногда терпеливо полагаться на везение. Но Blue Prince дарит то самое чувство открытия и триумфа, когда очередная загадка наконец поддаётся. Очень рекомендую, к прохождению обязательна! И постарайтесь не читать спойлеров.
#tgif #games
❤27👍8🔥4🌚1
В курсе "Основы байесовского вывода" в четверг продолжили (и закончили) разговор про байесовский выбор моделей:
СПбГУ — 2025.11.06 — Информационные критерии Такеучи и Акаике
(слайды, доска и код на странице курса)
Я начал с того, что договорил про эмпирический Байес: в примере с линейной регрессией там довольно изящный получается итеративный алгоритм для обучения α и β, то есть максимизации маргинального правдоподобия.
Но главное содержание лекции — это информационный критерий Акаике (AIC), который является частным случаем критерия Такеучи (TIC). Хотя он выглядит как нечто невероятно простое (по сути мы просто добавляем штраф в размере числа параметров к логарифму правдоподобия), на самом деле это нетривиальный результат с очень интересным доказательством! Если интересуетесь машинным обучением, я прямо рекомендую разобраться, это даёт взгляд на всё происходящее с немного другой стороны, больше со стороны классической статистики.
Красивенькие картинки на простых примерах тоже получаются, их я тоже показывал. Да и вообще статья про AIC — это одна из самых цитируемых работ во всей науке, не только в статистике и искусственном интеллекте; "Attention is All You Need", кажется, пока ещё не близко (если считать по Web of Science, а не по arXiv, конечно).
#spsu #lectures #bayes2025
СПбГУ — 2025.11.06 — Информационные критерии Такеучи и Акаике
(слайды, доска и код на странице курса)
Я начал с того, что договорил про эмпирический Байес: в примере с линейной регрессией там довольно изящный получается итеративный алгоритм для обучения α и β, то есть максимизации маргинального правдоподобия.
Но главное содержание лекции — это информационный критерий Акаике (AIC), который является частным случаем критерия Такеучи (TIC). Хотя он выглядит как нечто невероятно простое (по сути мы просто добавляем штраф в размере числа параметров к логарифму правдоподобия), на самом деле это нетривиальный результат с очень интересным доказательством! Если интересуетесь машинным обучением, я прямо рекомендую разобраться, это даёт взгляд на всё происходящее с немного другой стороны, больше со стороны классической статистики.
Красивенькие картинки на простых примерах тоже получаются, их я тоже показывал. Да и вообще статья про AIC — это одна из самых цитируемых работ во всей науке, не только в статистике и искусственном интеллекте; "Attention is All You Need", кажется, пока ещё не близко (если считать по Web of Science, а не по arXiv, конечно).
#spsu #lectures #bayes2025
🔥8❤5
Серия про Mamba закончилась, и в ближайшую среду будет (надеюсь!) интересный доклад по совсем другой теме. Он идеально попадает в тему курса "Глубокое обучение" — настолько удачно совпало, что я даже решил не рассказывать сам про VQ-VAE, а сослаться на доклад Захара. Присоединяйтесь в среду и вы!
VQ-VAE: когда нужны дискретные представления и как их готовить
Захар Варфоломеев (Songsterr, ex. Yandex Music)
Ссылка на трансляцию (среда 12 ноября, 14:00)
VQ-VAE — популярная нейросетевая архитектура, которая активно применяется в моделях, работающих с аудио, изображениями, видео, в мультимодальных моделях, а также в 3D-моделировании, трекинге движений и естественных науках (биологии, химии). На основе VQ-VAE создаются модели для сжатия и восстановления данных, которые сейчас используются во многих стриминговых платформах. Также VQ-VAE применяется для задач порождения или извлечения информации; например, на нём работает моё любимое audio2midi, которое я делаю, или panoptic segmentation.
В общем, идея полезная, но у VQ-VAE есть конкретные сценарии применения и проблемы, о которых речь пойдёт далее:
— он вычисляет N центроидов кластеров по картам признаков, полученным из кодировщика; кластеризация приводит к потере информации;
— инициализация центроидов кластеров значительно влияет на метрики для любой задачи; всем известный k-means даёт здесь полезную последовательность идей;
— через операцию VQ не протекают градиенты, поэтому мы вынуждены использовать аппроксимации, чаще всего STE;
— поскольку градиент останавливается после VQ, он не доходит до словаря и кодировщика; нужны вспомогательные функции потерь. Одна из них будет приближать выходы кодировщика к элементам словаря, вторая — приближать элементы словаря к выходам кодировщика; а это приводит к сложностям в оптимизации.
Поэтому для некоторых моделей в CV используют просто патчи, как в ViT. Это тоже интересный момент, и мы ещё вернемся к нему, а пока идём дальше.
— Часто вспомогательные лоссы считают L2-расстояние между конкретными семплами, и возникает коллапс словаря, когда модель использует только небольшую часть токенов, игнорируя остальные. Это снижает эффективность модели и происходит потому, что мы приближаем друг к другу лишь конкретные семплы, и ближе всех к выходам кодировщика будут последние, а большинство предыдущих окажутся дальше последних и никогда не будут выбраны. Поэтому создавать большие словари (10К+) не имеет смысла.
— При обучении с нуля подбор числа элементов словаря и их размерности — это трудоёмкий процесс: каждый раз нужно инициализировать словарь заново и проверять разные центроиды кластеров.
— Можно пробовать уменьшать число токенов, нужных для качественного восстановления данных из латентного пространства. Многие задачи требуют сжатия данных с низким битрейтом, однако VQ-VAE не всегда эффективно работает в таких условиях, особенно если требуется высокая точность восстановления.
— Часто для задач порождения или извлечения информации используют предобученные кодеки, и никто не хочет их менять под данные, модель и задачу, т.к. это может испортить кодек и потребует долгого подбора параметров. Но страдать придётся в любом случае: нужно подбирать и оптимизировать декодер на основе токенов из выбранного кодека.
— Регионы, по которым вычисляются латентные представления, имеют разную информационную плотность; в частности, мы хотим разделять регионы по смыслу, например токенизировать фон на изображении отдельно от основных объектов.
Это лишь основные проблемы, а далее мы обсудим пути их решения и посмотрим на актуальные применения VQ-представлений, затронув множество популярных доменов.
#markovlab #seminar #spsu
VQ-VAE: когда нужны дискретные представления и как их готовить
Захар Варфоломеев (Songsterr, ex. Yandex Music)
Ссылка на трансляцию (среда 12 ноября, 14:00)
VQ-VAE — популярная нейросетевая архитектура, которая активно применяется в моделях, работающих с аудио, изображениями, видео, в мультимодальных моделях, а также в 3D-моделировании, трекинге движений и естественных науках (биологии, химии). На основе VQ-VAE создаются модели для сжатия и восстановления данных, которые сейчас используются во многих стриминговых платформах. Также VQ-VAE применяется для задач порождения или извлечения информации; например, на нём работает моё любимое audio2midi, которое я делаю, или panoptic segmentation.
В общем, идея полезная, но у VQ-VAE есть конкретные сценарии применения и проблемы, о которых речь пойдёт далее:
— он вычисляет N центроидов кластеров по картам признаков, полученным из кодировщика; кластеризация приводит к потере информации;
— инициализация центроидов кластеров значительно влияет на метрики для любой задачи; всем известный k-means даёт здесь полезную последовательность идей;
— через операцию VQ не протекают градиенты, поэтому мы вынуждены использовать аппроксимации, чаще всего STE;
— поскольку градиент останавливается после VQ, он не доходит до словаря и кодировщика; нужны вспомогательные функции потерь. Одна из них будет приближать выходы кодировщика к элементам словаря, вторая — приближать элементы словаря к выходам кодировщика; а это приводит к сложностям в оптимизации.
Поэтому для некоторых моделей в CV используют просто патчи, как в ViT. Это тоже интересный момент, и мы ещё вернемся к нему, а пока идём дальше.
— Часто вспомогательные лоссы считают L2-расстояние между конкретными семплами, и возникает коллапс словаря, когда модель использует только небольшую часть токенов, игнорируя остальные. Это снижает эффективность модели и происходит потому, что мы приближаем друг к другу лишь конкретные семплы, и ближе всех к выходам кодировщика будут последние, а большинство предыдущих окажутся дальше последних и никогда не будут выбраны. Поэтому создавать большие словари (10К+) не имеет смысла.
— При обучении с нуля подбор числа элементов словаря и их размерности — это трудоёмкий процесс: каждый раз нужно инициализировать словарь заново и проверять разные центроиды кластеров.
— Можно пробовать уменьшать число токенов, нужных для качественного восстановления данных из латентного пространства. Многие задачи требуют сжатия данных с низким битрейтом, однако VQ-VAE не всегда эффективно работает в таких условиях, особенно если требуется высокая точность восстановления.
— Часто для задач порождения или извлечения информации используют предобученные кодеки, и никто не хочет их менять под данные, модель и задачу, т.к. это может испортить кодек и потребует долгого подбора параметров. Но страдать придётся в любом случае: нужно подбирать и оптимизировать декодер на основе токенов из выбранного кодека.
— Регионы, по которым вычисляются латентные представления, имеют разную информационную плотность; в частности, мы хотим разделять регионы по смыслу, например токенизировать фон на изображении отдельно от основных объектов.
Это лишь основные проблемы, а далее мы обсудим пути их решения и посмотрим на актуальные применения VQ-представлений, затронув множество популярных доменов.
#markovlab #seminar #spsu
🔥20❤7🤮4👍2⚡1
Собственно, доклад в среду станет естественным продолжением темы, которую мы начали в четверг в курсе "Глубокое обучение":
СПбГУ — 2025.11.06 — Вариационные автокодировщики
(слайды и доска на странице курса)
Вариационный автокодировщик (variational autoencoder, VAE) — одна из главных идей современного глубокого обучения. Я вот недавно перевыкладывал и вспоминал свои посты об этом в блоге Synthesis AI, и в лекции тоже примерно этот материал мы и обсудили: откуда берётся идея VAE, где там возникает приближённый вывод, как устроено в данном случае вариационное приближение...
Красота происходящего в том, что из вариационной оценки естественным образом получаются функции ошибки: и ошибка реконструкции (она, разумеется, получается из предположения на шум декодера, туда можно подставлять что угодно), и регуляризатор на распределение латентных кодов (а это уже интереснее). Дальше в среду послушаем о том, как латентное пространство может стать дискретным, а потом в четверг сделаем непрерывный кодировщик для дискретного пространства... да, странно звучит, но, надеюсь, разберёмся!
#spsu #lectures #dl2025
СПбГУ — 2025.11.06 — Вариационные автокодировщики
(слайды и доска на странице курса)
Вариационный автокодировщик (variational autoencoder, VAE) — одна из главных идей современного глубокого обучения. Я вот недавно перевыкладывал и вспоминал свои посты об этом в блоге Synthesis AI, и в лекции тоже примерно этот материал мы и обсудили: откуда берётся идея VAE, где там возникает приближённый вывод, как устроено в данном случае вариационное приближение...
Красота происходящего в том, что из вариационной оценки естественным образом получаются функции ошибки: и ошибка реконструкции (она, разумеется, получается из предположения на шум декодера, туда можно подставлять что угодно), и регуляризатор на распределение латентных кодов (а это уже интереснее). Дальше в среду послушаем о том, как латентное пространство может стать дискретным, а потом в четверг сделаем непрерывный кодировщик для дискретного пространства... да, странно звучит, но, надеюсь, разберёмся!
#spsu #lectures #dl2025
❤8❤🔥1