Всё пошло немного не по плану, но, кажется, сейчас начинаем. Подключайтесь, если есть желание:
https://my.mts-link.ru/j/29930273/9458600199/session/9062079480
Сессия вопросов была огненная, ждите, всё выложу. :)
(речь про вот этот доклад, я думал, что удалю технический пост, но тут очень крутой вопрос задали в комментах, так что не буду удалять)
#talks #ai
https://my.mts-link.ru/j/29930273/9458600199/session/9062079480
Сессия вопросов была огненная, ждите, всё выложу. :)
(речь про вот этот доклад, я думал, что удалю технический пост, но тут очень крутой вопрос задали в комментах, так что не буду удалять)
#talks #ai
Mts-link.ru
Семинар "Информатика и автоматизация"
❤4
Продолжаю собирать рекомендации на интересные короткие игры. У меня, конечно, уже накопился список и на 12, и на 22 games of Christmas, но всё равно прошу ещё рекомендаций. Тем более что сегодня как раз отличный пример: пост про три игры, каждая из которых вполне подошла бы в этот список.
Как всегда, здесь только затравка, полный текст и иллюстрации по ссылке:
Small Weird Games Made By Me
Нет, я не стал инди-разработчиком игр, хотя иногда очень хочется. Это название бандла, содержащего три игры от разработчика bilge — и название это как нельзя лучше отражает суть происходящего: игры маленькие, странные и очень личные.
Кто такой bilge
За псевдонимом bilge скрывается Билге Каан, независимый разработчик из Стамбула [...]
Indecision: видеоигровое хокку
Первая игра в бандле, Indecision. (да, с точкой в конце), вышла в феврале 2018 года. Сам автор называет её “a haiku platformer” — и это определение действительно проникает в суть. Игра очень короткая (около получаса; если захотеть увидеть весь контент, наверное, придётся потратить час-полтора) и расплывчатая, она построена на недосказанности и атмосфере.
Визуально Indecision. напоминает Fez по стилю пиксельной графики, но по духу это совершенно другая вещь. Игра представляет собой набор сценок, слабо связанных друг с другом. Каждый уровень начинается с чёрного экрана и одного слова в нижнем левом углу экрана, и связь между словом и происходящим редко бывает очевидной. [...]
Stikir: игра о создании игры
Вторая игра в бандле, stikir (да, с маленькой буквы), вышла в октябре 2019 года и представляет собой ещё более радикальный эксперимент. Официальное описание гласит, что это “игра о создании этой игры” — и это святая правда.
Игра начинается с того, что вы управляете космическим кораблём и стреляете по словам “Я хочу выпустить игру за шесть месяцев”, которые продолжают появляться на экране. Отсюда начинается путешествие внутрь головы разработчика, пытающегося понять, какую игру он вообще хочет сделать. Получается хаотичное, но продуманное месиво жанров: платформер превращается в гонки сверху вниз, затем в shoot ’em up против большого красного шара, потом в JRPG, где нужно принести воду для кофе... [...]
PAGER: Кафка в небоскрёбе
Теперь переходим к главному содержанию бандла — PAGER, самой свежей и самой амбициозной работе Билге. Игра вышла в августе 2025 года и представляет собой уже не маленький набор коротких сценок, а… большой набор коротких сценок, аж на 60 этажей офисного здания.
PAGER — это “однобитный кафкианский 3D-хоррор”, действие которого разворачивается в офисном здании 90-х годов. Стиль игры снова необычный и ещё более интересный, чем в играх выше. Монохромная картинка в чёрно-белых тонах с минималистичной 3D-графикой создаёт атмосферу, в которой смешиваются ностальгия, дискомфорт и сюрреализм. [...]
Основная механика крутится вокруг пейджера, который присылает вам указания. Вы — wetware, сотрудник, выполняющий непонятную работу в корпоративной иерархии. [...] Идея крутая, и звучит как основа для большой и разнообразной пазл-игры. [...] Но, хотя начало действительно захватывает, в целом многие уровни оказываются слишком прямолинейными. [...] И всё-таки это любопытный опыт. [...]
Заключение
Каждая из трёх игр в бандле — по сути, набор слабо связанных друг с другом сценок. [...] Качество у них довольно неровное — это факт. [...] [Но есть] та самая загадочная “душа”, которую в этих проектах почувствовал и я, и, думаю, профессиональные критики.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
Как всегда, здесь только затравка, полный текст и иллюстрации по ссылке:
Small Weird Games Made By Me
Нет, я не стал инди-разработчиком игр, хотя иногда очень хочется. Это название бандла, содержащего три игры от разработчика bilge — и название это как нельзя лучше отражает суть происходящего: игры маленькие, странные и очень личные.
Кто такой bilge
За псевдонимом bilge скрывается Билге Каан, независимый разработчик из Стамбула [...]
Indecision: видеоигровое хокку
Первая игра в бандле, Indecision. (да, с точкой в конце), вышла в феврале 2018 года. Сам автор называет её “a haiku platformer” — и это определение действительно проникает в суть. Игра очень короткая (около получаса; если захотеть увидеть весь контент, наверное, придётся потратить час-полтора) и расплывчатая, она построена на недосказанности и атмосфере.
Визуально Indecision. напоминает Fez по стилю пиксельной графики, но по духу это совершенно другая вещь. Игра представляет собой набор сценок, слабо связанных друг с другом. Каждый уровень начинается с чёрного экрана и одного слова в нижнем левом углу экрана, и связь между словом и происходящим редко бывает очевидной. [...]
Stikir: игра о создании игры
Вторая игра в бандле, stikir (да, с маленькой буквы), вышла в октябре 2019 года и представляет собой ещё более радикальный эксперимент. Официальное описание гласит, что это “игра о создании этой игры” — и это святая правда.
Игра начинается с того, что вы управляете космическим кораблём и стреляете по словам “Я хочу выпустить игру за шесть месяцев”, которые продолжают появляться на экране. Отсюда начинается путешествие внутрь головы разработчика, пытающегося понять, какую игру он вообще хочет сделать. Получается хаотичное, но продуманное месиво жанров: платформер превращается в гонки сверху вниз, затем в shoot ’em up против большого красного шара, потом в JRPG, где нужно принести воду для кофе... [...]
PAGER: Кафка в небоскрёбе
Теперь переходим к главному содержанию бандла — PAGER, самой свежей и самой амбициозной работе Билге. Игра вышла в августе 2025 года и представляет собой уже не маленький набор коротких сценок, а… большой набор коротких сценок, аж на 60 этажей офисного здания.
PAGER — это “однобитный кафкианский 3D-хоррор”, действие которого разворачивается в офисном здании 90-х годов. Стиль игры снова необычный и ещё более интересный, чем в играх выше. Монохромная картинка в чёрно-белых тонах с минималистичной 3D-графикой создаёт атмосферу, в которой смешиваются ностальгия, дискомфорт и сюрреализм. [...]
Основная механика крутится вокруг пейджера, который присылает вам указания. Вы — wetware, сотрудник, выполняющий непонятную работу в корпоративной иерархии. [...] Идея крутая, и звучит как основа для большой и разнообразной пазл-игры. [...] Но, хотя начало действительно захватывает, в целом многие уровни оказываются слишком прямолинейными. [...] И всё-таки это любопытный опыт. [...]
Заключение
Каждая из трёх игр в бандле — по сути, набор слабо связанных друг с другом сценок. [...] Качество у них довольно неровное — это факт. [...] [Но есть] та самая загадочная “душа”, которую в этих проектах почувствовал и я, и, думаю, профессиональные критики.
=====
И обращение к читателям. У меня была традиция на новогодние праздники садиться и проходить какую-нибудь большую AAA-игру. В этом году хочется попробовать сделать наоборот: в рамках чего-нибудь вроде "12 games of Christmas" каждый день проходить что-нибудь новенькое.
Посоветуйте, пожалуйста, на это дело каких-нибудь интересных и необычных коротких игр. Поставлю условный верхний лимит в 3-4 часа, больше за день осиливать не хочется; разумеется, это на одно прохождение, 100% ачивок выбивать я не собираюсь. Спасибо!
#tgif #games
❤4👍1
Forwarded from DSCS.pro
💬 В 2023 году была «весна» искусственного интеллекта. Казалось, что дальше всё начнёт затухать, но этого не произошло. Вот уже три года мы продолжаем движение вперёд, хотя масштабировать модели становится всё сложнее».
В ходе выступления он рассказал о революции в искусственном интеллекте, перспективах AGI, роли LLM в математике и современной науке, а также о том, как ИИ всё глубже встраивается в исследовательские практики.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥36❤16👍10😘2
В четверг в курсе "Основы байесовского вывода" начали материал, обычно относящийся ко второму семестру. Выбрал тему, которую как раз должен за две лекции закончить:
СПбГУ — 2025.12.11 — Метод опорных векторов
(слайды, доска и код на странице курса)
Когда-то, много лет назад, SVM были на переднем крае машинного обучения. Помню, даже была целая наука о том, как SVM обобщить на случай нескольких классов исходя из попарных разделяющих поверхностей.
С тех пор много утекло воды, но и сегодня SVM иногда пригождаются на практике. Да и вообще идея, конечно, красивая, особенно kernel trick: трюк, позволяющий легко вычислять скалярные произведения в пространствах очень большой (а то и бесконечной) размерности. Вот он как раз очень полезен до сих пор, и это я смог проиллюстрировать в курсе глубокого обучения буквально на следующей паре; но это уже другая история.
#spsu #lectures #bayes2025
СПбГУ — 2025.12.11 — Метод опорных векторов
(слайды, доска и код на странице курса)
Когда-то, много лет назад, SVM были на переднем крае машинного обучения. Помню, даже была целая наука о том, как SVM обобщить на случай нескольких классов исходя из попарных разделяющих поверхностей.
С тех пор много утекло воды, но и сегодня SVM иногда пригождаются на практике. Да и вообще идея, конечно, красивая, особенно kernel trick: трюк, позволяющий легко вычислять скалярные произведения в пространствах очень большой (а то и бесконечной) размерности. Вот он как раз очень полезен до сих пор, и это я смог проиллюстрировать в курсе глубокого обучения буквально на следующей паре; но это уже другая история.
#spsu #lectures #bayes2025
❤19
В следующий раз на семинаре лаборатории Маркова будет не один доклад, а сразу семь (надеюсь) по цене одного:
Разбор лучших статей NeurIPS 2025
Ссылка на трансляцию (среда 17 декабря, 14:00)
Сотрудники лаборатории Маркова
Лучшие из пяти тысяч статей NeurIPS, получившие best paper awards, уже опубликованы. Так что на заключительном заседании семинара мы решили провести их краткий разбор. Будет семь (или шесть, как получится) докладов по 10-15 минут:
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
— Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
— Optimal Mistake Bounds for Transductive Online Learning
— Superposition Yields Robust Neural Scaling
#markovlab #seminar #spsu
Разбор лучших статей NeurIPS 2025
Ссылка на трансляцию (среда 17 декабря, 14:00)
Сотрудники лаборатории Маркова
Лучшие из пяти тысяч статей NeurIPS, получившие best paper awards, уже опубликованы. Так что на заключительном заседании семинара мы решили провести их краткий разбор. Будет семь (или шесть, как получится) докладов по 10-15 минут:
— Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
— Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
— 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
— Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training
— Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
— Optimal Mistake Bounds for Transductive Online Learning
— Superposition Yields Robust Neural Scaling
#markovlab #seminar #spsu
🔥24❤2
В курсе "Глубокое обучение" продолжаем разговор про LLM. Рассказал об основных проблемах больших языковых моделей:
СПбГУ — 2025.12.11 — Проблемы LLM и их решения
(слайды на странице курса)
Первая проблема LLM в том, что базовая модель не очень-то хочет отвечать на ваши вопросы, и её обязательно нужно дообучать. Поэтому поговорили про RLHF и его особенности, а потом про дообучение LLM с учителем (SFT) и, в частности, про адаптеры и LoRA (низкоранговые адаптеры).
Вторая проблема LLM — в квадратичной сложности самовнимания. Слои self-attention не очень масштабируются, и если вы хотите прочитать миллион токенов, придётся использовать какие-нибудь трюки: или разреженное внимание, или опять низкоранговые приближения, или, самое интересное, линейные механизмы внимания, о которых мы много говорили в этом семестре на семинаре лаборатории Маркова (та самая Mamba, см. по тегу #markovlab).
Третья проблема — какой бы большой ни была модель, весь интернет она запомнить не сможет. Так что поговорили о том, как добавить в LLM поиск: RAG, R[e]aLM и ещё немножко про графы знаний в LLM.
Следующая лекция — последняя; поговорим о рассуждающих моделях, а потом... а потом подумаю о чём, но точно о чём-нибудь интересном.)
#spsu #lectures #dl2025
СПбГУ — 2025.12.11 — Проблемы LLM и их решения
(слайды на странице курса)
Первая проблема LLM в том, что базовая модель не очень-то хочет отвечать на ваши вопросы, и её обязательно нужно дообучать. Поэтому поговорили про RLHF и его особенности, а потом про дообучение LLM с учителем (SFT) и, в частности, про адаптеры и LoRA (низкоранговые адаптеры).
Вторая проблема LLM — в квадратичной сложности самовнимания. Слои self-attention не очень масштабируются, и если вы хотите прочитать миллион токенов, придётся использовать какие-нибудь трюки: или разреженное внимание, или опять низкоранговые приближения, или, самое интересное, линейные механизмы внимания, о которых мы много говорили в этом семестре на семинаре лаборатории Маркова (та самая Mamba, см. по тегу #markovlab).
Третья проблема — какой бы большой ни была модель, весь интернет она запомнить не сможет. Так что поговорили о том, как добавить в LLM поиск: RAG, R[e]aLM и ещё немножко про графы знаний в LLM.
Следующая лекция — последняя; поговорим о рассуждающих моделях, а потом... а потом подумаю о чём, но точно о чём-нибудь интересном.)
#spsu #lectures #dl2025
🔥11😈4❤2👍2🤔1
Выложил видео доклада Яны Вейцман с семинара лаборатории Маркова:
The Expressive Capacity of State Space Models: A Formal Language Perspective
(слайды на странице семинара)
Главный смысл доклада был в том, как найти какой-нибудь концептуальный способ сравнить между собой выразительность разных архитектур. Мы условно и нечётко понимаем, что трансформеры хороши в одном, SSM в другом, а LSTM в третьем (или полностью перекрывается уже?), но как это формально определить и отделить одно от другого?
В докладе для этого предлагался взгляд со стороны формальных языков: каким-то языкам легко обучаются одни архитектуры, а каким-то — другие. Дальше уже лучше слушать доклад, но, в общем, какая-то структура "теоретических бенчмарков", в которую могли бы уложиться и новые, ещё не существующие архитектуры, — это крутая исследовательская программа.
Присоединяйтесь завтра! Завтра не роман, а сборник рассказов, а это ведь всегда интереснее.
#spsu #seminar #markovlab
The Expressive Capacity of State Space Models: A Formal Language Perspective
(слайды на странице семинара)
Главный смысл доклада был в том, как найти какой-нибудь концептуальный способ сравнить между собой выразительность разных архитектур. Мы условно и нечётко понимаем, что трансформеры хороши в одном, SSM в другом, а LSTM в третьем (или полностью перекрывается уже?), но как это формально определить и отделить одно от другого?
В докладе для этого предлагался взгляд со стороны формальных языков: каким-то языкам легко обучаются одни архитектуры, а каким-то — другие. Дальше уже лучше слушать доклад, но, в общем, какая-то структура "теоретических бенчмарков", в которую могли бы уложиться и новые, ещё не существующие архитектуры, — это крутая исследовательская программа.
Присоединяйтесь завтра! Завтра не роман, а сборник рассказов, а это ведь всегда интереснее.
#spsu #seminar #markovlab
🔥16👍1
Продолжаем тему общих сюжетов о важном в курсе "Технологии и фронтиры науки о данных" в ЮФУ:
ЮФУ — 2025.12.11 — Функция регрессии, bias-variance-noise, выбор моделей
(слайды, доска и код на странице курса)
Начали со статистической теории принятия решений, то есть о том, что такое функция регрессии, идеальный возможный ответ. Это забавный результат: он абсолютно тривиальный и кажется бессмысленным, но в случае регрессии помогает понять, как и когда работает метод ближайших соседей, а в случае классификации тут же даёт возможность перевзвешивать разные виды ошибок.
Логичное продолжение этой темы — разложение bias-variance-noise, которое показывает самый главный tradeoff в машинном обучении: некоторые модели слишком зависят от конкретного датасета, а некоторые не зависят, зато не факт что восстанавливают то, что нужно, даже в ожидании.
И, наконец, обсудили байесовский выбор моделей. Оказывается, что модели очень логично сравнивать по... знаменателю теоремы Байеса, то есть по общему правдоподобию данных p(D) (проинтегрированному по апостериорным θ). Сильно дальше этой идеи я не продвинулся, но показал простой пример, какие-то проясняющие картиночки и показал без особых объяснений информационные критерии (байесовский и Акаике).
#sfu #lectures #dsfrontiers
ЮФУ — 2025.12.11 — Функция регрессии, bias-variance-noise, выбор моделей
(слайды, доска и код на странице курса)
Начали со статистической теории принятия решений, то есть о том, что такое функция регрессии, идеальный возможный ответ. Это забавный результат: он абсолютно тривиальный и кажется бессмысленным, но в случае регрессии помогает понять, как и когда работает метод ближайших соседей, а в случае классификации тут же даёт возможность перевзвешивать разные виды ошибок.
Логичное продолжение этой темы — разложение bias-variance-noise, которое показывает самый главный tradeoff в машинном обучении: некоторые модели слишком зависят от конкретного датасета, а некоторые не зависят, зато не факт что восстанавливают то, что нужно, даже в ожидании.
И, наконец, обсудили байесовский выбор моделей. Оказывается, что модели очень логично сравнивать по... знаменателю теоремы Байеса, то есть по общему правдоподобию данных p(D) (проинтегрированному по апостериорным θ). Сильно дальше этой идеи я не продвинулся, но показал простой пример, какие-то проясняющие картиночки и показал без особых объяснений информационные критерии (байесовский и Акаике).
#sfu #lectures #dsfrontiers
❤7🔥4👍1
Сегодня семинар был чертовски представительный: выступали заведующий лабораторией Маркова и лауреат Филдсовской премии, причём это два разных человека.
Разумеется, ничего мы не успели, успели только три из семи докладов, так что разбор статей NeurIPS продолжится на следующей неделе. Следите за объявлениями!
#spsu #markovlab #seminar
Разумеется, ничего мы не успели, успели только три из семи докладов, так что разбор статей NeurIPS продолжится на следующей неделе. Следите за объявлениями!
#spsu #markovlab #seminar
🔥41❤10😁2👍1