Как и предупреждал, продолжаю ударную дозу ностальгии; наверное, не нужно возвращать мой 2023-й, но вот что я тогда писал.
Discrete Latent Spaces: Generative AI II
Вариационные автокодировщики, общая конструкция которых была описана в предыдущем посте, долгое время оставались чем-то вроде сильного концептуально интересного бейзлайна, но проигрывали всем кому ни попадя, особенно, конечно, GAN'ам (то есть обычно AAE, adversarial autoencoders).
Это изменилось, когда латентное пространство VAE сделали дискретным: ввели некий "словарь" латентных кодов, который тоже обучается вместе с кодировщиком и декодировщиком. В этом посте как раз про идею дискретных пространств и VQ-VAE (vector quantized VAE) я и рассказываю. Кстати, если кто-то знает, почему так, то есть почему вдруг именно дискретные пространства стали ключом к успеху (а может, не они, просто так совпало с чем-то другим?), напишите — для меня это всё ещё загадка.
How DALL-E Creates AI-Generated Art: Generative AI III
А в следующем посте мы совмещаем вариационный автокодировщик с дискретным пространством и делаем логичный следующий шаг: приспособить трансформер писать код в этом пространстве, чтобы можно было из текста (или чего угодно другого) порождать картинку.
Так получилась модель DALL-E, с которой, можно сказать, началась история по-настоящему хорошо работающих text-to-image моделей. Она прогремела в 2021-м, но уже через год её оставили позади диффузионные модели. Но это уже совсем другая история...
#longreads #synthesisai
Discrete Latent Spaces: Generative AI II
Вариационные автокодировщики, общая конструкция которых была описана в предыдущем посте, долгое время оставались чем-то вроде сильного концептуально интересного бейзлайна, но проигрывали всем кому ни попадя, особенно, конечно, GAN'ам (то есть обычно AAE, adversarial autoencoders).
Это изменилось, когда латентное пространство VAE сделали дискретным: ввели некий "словарь" латентных кодов, который тоже обучается вместе с кодировщиком и декодировщиком. В этом посте как раз про идею дискретных пространств и VQ-VAE (vector quantized VAE) я и рассказываю. Кстати, если кто-то знает, почему так, то есть почему вдруг именно дискретные пространства стали ключом к успеху (а может, не они, просто так совпало с чем-то другим?), напишите — для меня это всё ещё загадка.
How DALL-E Creates AI-Generated Art: Generative AI III
А в следующем посте мы совмещаем вариационный автокодировщик с дискретным пространством и делаем логичный следующий шаг: приспособить трансформер писать код в этом пространстве, чтобы можно было из текста (или чего угодно другого) порождать картинку.
Так получилась модель DALL-E, с которой, можно сказать, началась история по-настоящему хорошо работающих text-to-image моделей. Она прогремела в 2021-м, но уже через год её оставили позади диффузионные модели. Но это уже совсем другая история...
#longreads #synthesisai
🔥6❤2
Сегодня семинар настолько удался, что даже пошли делать групповое фото в главном коридоре главного здания. Провожаем Кирилла в DeepMind!
#markovlab #seminar #spsu
#markovlab #seminar #spsu
❤57🔥25👍2
Сегодня выступаю на конференции Polynomial Computer Algebra 2025; спасибо Николаю Николаевичу Васильеву за приглашение! Кстати, вдруг выяснилось, что доклад будет транслироваться онлайн, так что если интересно, подключайтесь в 15 часов по этому адресу в Zoom (полный анонс в конце поста; видео тоже потом выложу, конечно).
Доклад в основном будет похож на то, что я рассказывал весной на заседании Матобщества, но, конечно, для сегодняшнего доклада подытожил и несколько недавних новостей. А ещё сделал такой вот любопытный таймлайн (см. картинку).
Мне кажется, многие люди, говоря о текущем положении дел с AI-моделями, каким-то волшебным образом мгновенно забывают о векторе прогресса, причём и о его направлении, и о длине. Смотрят на текущую модель от OpenAI и говорят, что "это ещё не то"; такие люди есть и среди математиков, пару любопытных примеров я приведу.
Но мы же не живём исключительно в настоящем времени. Любой учёный планирует свою работу минимум на ближайший год, а если нужно заявку на грант написать, то и на 2-3 года. И в этом смысле очень показательно посмотреть на то, какой путь прошли обычные, общедоступные LLM за последние три года, от первых проблесков chain of thought до GPT-5 Pro.
На картинке — задачи, с которыми могли с грехом пополам (то есть могли, но не очень устойчиво) справиться ведущие LLM в разное время. Речь идёт именно о базовых "пользовательских" LLM, не о специализированных системах вроде AlphaProof или AlphaEvolve; понятно, что возможности последних куда шире.
Мне кажется, мы часто забываем, что буквально три с половиной года назад, в начале 2022 года, LLM плохо справлялись с задачами вида "у Васи было три теннисных мячика, и он купил ещё две упаковки по пять, сколько всего стало?"; именно на таких задачах дали существенные улучшения первые попытки сделать chain of thought.
А прямо сейчас LLM успешно доказывают новые теоремы с одного промпта. Да, пока только очень простенькие новые теоремы, во многом аналогичные уже известным. И да, пока бывает, что с ошибками, в которые LLM иногда нужно ткнуть носом.
Но с чем они справятся ещё через год?.. Как вы планируете свою жизнь и деятельность?..
=====
AI и математика: последние результаты и прогнозы на будущее
Ссылка на Zoom: https://us06web.zoom.us/j/85851828893?pwd=Mbzz8vyy7sW6bFpEVwG7rSIuAs98om.1
Conference ID: 858 5182 8893
Access code: 740575
Аннотация:
Математика как область применения AI и компьютерных наук в целом всегда оставалась для меня загадкой: самая формализованная часть человеческой деятельности, тем не менее, неизменно оказывалась очень сложной для автоматизации. Громких теорем, доказанных полностью автоматически, всё ещё нет, но кажется, что успех понемногу приходит с неожиданной стороны: не от автоматических пруверов, а от больших языковых моделей (LLM). В докладе мы обсудим текущее положение дел с математическими рассуждениями у LLM и увидим, какой скачок произошёл с появлением рассуждающих моделей. Кроме того, мы обсудим самые последние результаты, которые похожи уже не на звоночек, а на колокол — по кому он звонит?..
#talks #conference #longreads
Доклад в основном будет похож на то, что я рассказывал весной на заседании Матобщества, но, конечно, для сегодняшнего доклада подытожил и несколько недавних новостей. А ещё сделал такой вот любопытный таймлайн (см. картинку).
Мне кажется, многие люди, говоря о текущем положении дел с AI-моделями, каким-то волшебным образом мгновенно забывают о векторе прогресса, причём и о его направлении, и о длине. Смотрят на текущую модель от OpenAI и говорят, что "это ещё не то"; такие люди есть и среди математиков, пару любопытных примеров я приведу.
Но мы же не живём исключительно в настоящем времени. Любой учёный планирует свою работу минимум на ближайший год, а если нужно заявку на грант написать, то и на 2-3 года. И в этом смысле очень показательно посмотреть на то, какой путь прошли обычные, общедоступные LLM за последние три года, от первых проблесков chain of thought до GPT-5 Pro.
На картинке — задачи, с которыми могли с грехом пополам (то есть могли, но не очень устойчиво) справиться ведущие LLM в разное время. Речь идёт именно о базовых "пользовательских" LLM, не о специализированных системах вроде AlphaProof или AlphaEvolve; понятно, что возможности последних куда шире.
Мне кажется, мы часто забываем, что буквально три с половиной года назад, в начале 2022 года, LLM плохо справлялись с задачами вида "у Васи было три теннисных мячика, и он купил ещё две упаковки по пять, сколько всего стало?"; именно на таких задачах дали существенные улучшения первые попытки сделать chain of thought.
А прямо сейчас LLM успешно доказывают новые теоремы с одного промпта. Да, пока только очень простенькие новые теоремы, во многом аналогичные уже известным. И да, пока бывает, что с ошибками, в которые LLM иногда нужно ткнуть носом.
Но с чем они справятся ещё через год?.. Как вы планируете свою жизнь и деятельность?..
=====
AI и математика: последние результаты и прогнозы на будущее
Ссылка на Zoom: https://us06web.zoom.us/j/85851828893?pwd=Mbzz8vyy7sW6bFpEVwG7rSIuAs98om.1
Conference ID: 858 5182 8893
Access code: 740575
Аннотация:
Математика как область применения AI и компьютерных наук в целом всегда оставалась для меня загадкой: самая формализованная часть человеческой деятельности, тем не менее, неизменно оказывалась очень сложной для автоматизации. Громких теорем, доказанных полностью автоматически, всё ещё нет, но кажется, что успех понемногу приходит с неожиданной стороны: не от автоматических пруверов, а от больших языковых моделей (LLM). В докладе мы обсудим текущее положение дел с математическими рассуждениями у LLM и увидим, какой скачок произошёл с появлением рассуждающих моделей. Кроме того, мы обсудим самые последние результаты, которые похожи уже не на звоночек, а на колокол — по кому он звонит?..
#talks #conference #longreads
❤16👍3🔥3😭2
О первой игре великого Бенуа Сокаля (и её недавно вышедшем римейке) я изрядно подрасписался, да и картинок хотелось вставить много разных, так что здесь существенно сокращённая версия, а полную можно как всегда прочитать на сайте:
Amerzone: The Explorer's Legacy
История игры Amerzone начинается даже не в девяностые, а в 1980-е годы, когда Бенуа Сокаль ещё никак не был связан с игровой индустрией, а рисовал комиксы (которые, кстати, уже раскрашивал на компьютере). В частности, в 1986 году он нарисовал комикс L'Amerzone, один из многих в серии приключений инспектора Канардо, утки-детектива (hold that thought! к этой идее мы ещё вернёмся в следующих постах).
В середине девяностых Сокаль решил попробовать выпустить единый CD-ROM со своими комиксами и некими "3D-материалами" по его вселенной. Издатель одобрил, а в качестве нового медиа решено было сделать игру. Сначала хотели сделать маленькую и простенькую, но вошли во вкус, и вот к 1999 году получился Amerzone. Сам Сокаль признавался, что главными источниками вдохновения стали, во-первых, Myst, а во-вторых, атмосфера знаменитого фильма Вернера Херцога Fitzcarraldo.
И вот совсем недавно, в апреле этого года, вышел римейк классической игры с тем же названием; в него я, разумеется, и играл, чего и вам рекомендую. Интервью с разработчиками из Microids не нашёл, но ни секунды не сомневаюсь, что это было сделано в память самого Бенуа Сокаля, который ушёл из жизни в 2021-м.
Графику в римейке, конечно, прокачали очень хорошо; выглядит всё почти совсем современно. Детализация и графика в целом, конечно, скорее выглядят на уровне 2015 года, чем 2025-го, но разве кто-то здесь будет спорить, что в 2015-м игры были уже очень хороши на вид?.. В Amerzone и пейзажи красивые, и анимации достаточно детализированы, и стиль (унаследованный от оригинала) на высоте.
А самое интересное в том, что этот очень достойный внешний вид сочетается с, по всей видимости, не особенно изменившимся геймплеем из девяностых! Это квест, ходишь ты в нём прямо как в Myst и Riven, перемещаясь между фиксированными контрольными точками, и загадки выглядят как "применить одно на другое".
Как по мне, отличный геймплей! Я любил квесты в детстве, но у классических квестов в наше время есть две проблемы: во-первых, играть в них сейчас уже немного больно глазам, даже если исходная графика не претендовала на реалистичность, а во-вторых, они частенько были сверхсложными и совершенно нелогичными. Как говорится, ставьте 🐐 те, кто помнит козла из Broken Sword (а это очень простой квест по сравнению с ранними девяностыми).
И вот Amerzone исправил обе: графику переделали, а загадки изначально были относительно простыми (относительно других квестов!) и строились так, чтобы игра проходилась как кино, а не заставляла часами пробовать "всё на всё". Здесь всегда подсвечиваются все активные точки, и на каждой конкретной локации их не так много — всё помещается в голове, подсказки работают, "применить всё на всё" было бы не так сложно, но так и не пригодилось, все загадки решились по пути. Кажется, Сокаль так и задумывал.
Здесь неплохая история. Это, конечно, самый классический и самый прямолинейный Бенуа Сокаль: мы за живую природу и против угнетающих её латиноамериканских диктаторов, но зато мы с роботами, точнее, со стильной лодкой, трансформирующейся в самолёт и вообще во всё что угодно... через загрузку нужных дискет. Но следить за происходящим всё равно интересно, а богатый лор позволяет погрузиться в игру.
В общем, это тот самый квест. Та самая Syberia, только ещё раньше — это первая игра Бенуа Сокаля. Те самые загадки "применить палку на копалку", только совсем не душные. И то самое погружение, только в современной графике. Рекомендую!
#games #tgif
Amerzone: The Explorer's Legacy
История игры Amerzone начинается даже не в девяностые, а в 1980-е годы, когда Бенуа Сокаль ещё никак не был связан с игровой индустрией, а рисовал комиксы (которые, кстати, уже раскрашивал на компьютере). В частности, в 1986 году он нарисовал комикс L'Amerzone, один из многих в серии приключений инспектора Канардо, утки-детектива (hold that thought! к этой идее мы ещё вернёмся в следующих постах).
В середине девяностых Сокаль решил попробовать выпустить единый CD-ROM со своими комиксами и некими "3D-материалами" по его вселенной. Издатель одобрил, а в качестве нового медиа решено было сделать игру. Сначала хотели сделать маленькую и простенькую, но вошли во вкус, и вот к 1999 году получился Amerzone. Сам Сокаль признавался, что главными источниками вдохновения стали, во-первых, Myst, а во-вторых, атмосфера знаменитого фильма Вернера Херцога Fitzcarraldo.
И вот совсем недавно, в апреле этого года, вышел римейк классической игры с тем же названием; в него я, разумеется, и играл, чего и вам рекомендую. Интервью с разработчиками из Microids не нашёл, но ни секунды не сомневаюсь, что это было сделано в память самого Бенуа Сокаля, который ушёл из жизни в 2021-м.
Графику в римейке, конечно, прокачали очень хорошо; выглядит всё почти совсем современно. Детализация и графика в целом, конечно, скорее выглядят на уровне 2015 года, чем 2025-го, но разве кто-то здесь будет спорить, что в 2015-м игры были уже очень хороши на вид?.. В Amerzone и пейзажи красивые, и анимации достаточно детализированы, и стиль (унаследованный от оригинала) на высоте.
А самое интересное в том, что этот очень достойный внешний вид сочетается с, по всей видимости, не особенно изменившимся геймплеем из девяностых! Это квест, ходишь ты в нём прямо как в Myst и Riven, перемещаясь между фиксированными контрольными точками, и загадки выглядят как "применить одно на другое".
Как по мне, отличный геймплей! Я любил квесты в детстве, но у классических квестов в наше время есть две проблемы: во-первых, играть в них сейчас уже немного больно глазам, даже если исходная графика не претендовала на реалистичность, а во-вторых, они частенько были сверхсложными и совершенно нелогичными. Как говорится, ставьте 🐐 те, кто помнит козла из Broken Sword (а это очень простой квест по сравнению с ранними девяностыми).
И вот Amerzone исправил обе: графику переделали, а загадки изначально были относительно простыми (относительно других квестов!) и строились так, чтобы игра проходилась как кино, а не заставляла часами пробовать "всё на всё". Здесь всегда подсвечиваются все активные точки, и на каждой конкретной локации их не так много — всё помещается в голове, подсказки работают, "применить всё на всё" было бы не так сложно, но так и не пригодилось, все загадки решились по пути. Кажется, Сокаль так и задумывал.
Здесь неплохая история. Это, конечно, самый классический и самый прямолинейный Бенуа Сокаль: мы за живую природу и против угнетающих её латиноамериканских диктаторов, но зато мы с роботами, точнее, со стильной лодкой, трансформирующейся в самолёт и вообще во всё что угодно... через загрузку нужных дискет. Но следить за происходящим всё равно интересно, а богатый лор позволяет погрузиться в игру.
В общем, это тот самый квест. Та самая Syberia, только ещё раньше — это первая игра Бенуа Сокаля. Те самые загадки "применить палку на копалку", только совсем не душные. И то самое погружение, только в современной графике. Рекомендую!
#games #tgif
❤10👍7🆒1
На то, чтобы серьёзно заниматься пианинкой, совсем нет сил и времени сейчас, но занятия в школе таки идут, и вот прошлый джем записали прямо с моего ракурса.
В каком-то смысле это (только желательно в несколько раз лучше) как раз то, чему я изначально хотел научиться — спокойно и расслабленно импровизировать вместе с другими людьми. Но да, крайне желательно в несколько раз лучше.)
#piano
В каком-то смысле это (только желательно в несколько раз лучше) как раз то, чему я изначально хотел научиться — спокойно и расслабленно импровизировать вместе с другими людьми. Но да, крайне желательно в несколько раз лучше.)
#piano
🔥12❤2
Forwarded from Jam's Cool info
Media is too big
VIEW IN TELEGRAM
Учебный ансамбль Nord Star исполняет легендарную композицию Sleepwalk в версии группы The Shadows.
Эта инструментальная баллада, впервые написанная дуэтом Santo & Johnny в 1959 году, обрела новую жизнь благодаря The Shadows, которые добавили в неё свой фирменный гитарный звук и атмосферу начала 60-х.
Наши ученики сумели передать мягкое, мелодичное настроение трека и показать, как классика может звучать свежо и вдохновляюще в современном исполнении.
Эта инструментальная баллада, впервые написанная дуэтом Santo & Johnny в 1959 году, обрела новую жизнь благодаря The Shadows, которые добавили в неё свой фирменный гитарный звук и атмосферу начала 60-х.
Наши ученики сумели передать мягкое, мелодичное настроение трека и показать, как классика может звучать свежо и вдохновляюще в современном исполнении.
❤36🔥11👍10🥰2🤗1
Четверги — главный источник контента. Например, продолжается курс "Основы байесовского вывода":
СПбГУ — 2025.10.02 — Введение в классификацию
(слайды и доска, как всегда, на странице курса)
Начали с постановки задачи классификации. Здесь важно поговорить о геометрии происходящего; например, как правильно определить линейную разделяющую поверхность для трёх классов? Это не такой очевидный вопрос. Дальше я, как обычно в своих курсах, рассказал про линейный дискриминант Фишера: он, конечно, сам по себе как метод классификации вряд ли кому-то нужен, но он тоже даёт ключевую геометрическую интуицию: классификация — это о том, как найти правильное одномерное направление для проекции данных.
А затем перешли к порождающим моделям: если они есть, то автоматически есть и оптимальный байесовский классификатор. Гауссовский пример здесь называется квадратичным дискриминантным анализом (QDA), или линейным (LDA), если предположить одинаковые матрицы ковариаций. А закончил я на идее логистической регрессии, о которой будем подробно говорить в следующий раз.
#spsu #lectures #bayes2025
СПбГУ — 2025.10.02 — Введение в классификацию
(слайды и доска, как всегда, на странице курса)
Начали с постановки задачи классификации. Здесь важно поговорить о геометрии происходящего; например, как правильно определить линейную разделяющую поверхность для трёх классов? Это не такой очевидный вопрос. Дальше я, как обычно в своих курсах, рассказал про линейный дискриминант Фишера: он, конечно, сам по себе как метод классификации вряд ли кому-то нужен, но он тоже даёт ключевую геометрическую интуицию: классификация — это о том, как найти правильное одномерное направление для проекции данных.
А затем перешли к порождающим моделям: если они есть, то автоматически есть и оптимальный байесовский классификатор. Гауссовский пример здесь называется квадратичным дискриминантным анализом (QDA), или линейным (LDA), если предположить одинаковые матрицы ковариаций. А закончил я на идее логистической регрессии, о которой будем подробно говорить в следующий раз.
#spsu #lectures #bayes2025
❤18👍10
Как вы знаете, я очень люблю тему "AI в науке и к чему уже учёным пора готовиться". Только что делал доклад на эту тему на PCA 2025, завтра тоже буду об этом рассказывать, и буквально за последние две недели писал два поста, про математику и про новую систему DeepMind ("А теперь побей все бенчмарки"). И вот на семинаре тоже эта тема возникла — к нам приезжает Александр Панов из AIRI. Посмотрим, что думают коллеги из Москвы; возможно, тут как раз возникнет интересное обсуждение!
AI Scientist — большой вызов для современных универсальных систем искусственного интеллекта
Александр Панов
Head of Cognitive AI Systems laboratory at AIRI
Head of the Center for Cognitive Modeling at MIPT
Ссылка на трансляцию (среда 8 октября, 14:00)
В докладе обсудим задачу автоматизации научных исследований, применение в ней больших языковых и мультимодальных моделей. Поговорим о современных ИИ-инструментах, используемых в научных исследованиях. Отметим ключевые научных проблемы на пути создания ИИ-исследователя. Обсудим проект создания робототехнического агента-исследователя в задачах автоматизации процессов в химических лабораториях.
#markovlab #seminar #spsu
AI Scientist — большой вызов для современных универсальных систем искусственного интеллекта
Александр Панов
Head of Cognitive AI Systems laboratory at AIRI
Head of the Center for Cognitive Modeling at MIPT
Ссылка на трансляцию (среда 8 октября, 14:00)
В докладе обсудим задачу автоматизации научных исследований, применение в ней больших языковых и мультимодальных моделей. Поговорим о современных ИИ-инструментах, используемых в научных исследованиях. Отметим ключевые научных проблемы на пути создания ИИ-исследователя. Обсудим проект создания робототехнического агента-исследователя в задачах автоматизации процессов в химических лабораториях.
#markovlab #seminar #spsu
❤18🔥6👍1
Завтра уже следующий доклад на семинаре лаборатории Маркова, но вот вам пока предыдущий:
Семинар Markov Lab — 2025.10.01—- RL для дообучения LLM
(Слайды на странице семинара)
Кирилл Тыщук в этом докладе дал обзор современных RL-алгоритмов (в основном из класса policy gradient, конечно), которые используются для дообучения LLM: PPO, DPO, GRPO и другие далее по списку. Фактически это была отличная обучающая лекция, так что ей особенно рад поделиться.
Надеюсь, удастся заманить Кирилла прочитать такую гостевую лекцию и в моём курсе deep learning на МКН.) Там как раз времени в этом семестре наконец-то стало побольше, и для этого есть все возможности.
#markovlab #seminar #spsu
Семинар Markov Lab — 2025.10.01—- RL для дообучения LLM
(Слайды на странице семинара)
Кирилл Тыщук в этом докладе дал обзор современных RL-алгоритмов (в основном из класса policy gradient, конечно), которые используются для дообучения LLM: PPO, DPO, GRPO и другие далее по списку. Фактически это была отличная обучающая лекция, так что ей особенно рад поделиться.
Надеюсь, удастся заманить Кирилла прочитать такую гостевую лекцию и в моём курсе deep learning на МКН.) Там как раз времени в этом семестре наконец-то стало побольше, и для этого есть все возможности.
#markovlab #seminar #spsu
🔥20❤7
А в курсе глубокого обучения в прошлый четверг обсуждали механизмы внимания:
СПбГУ — 2025.10.02 — Состязательные примеры и механизмы внимания
(слайды и доска на странице курса)
Начали с состязательных примеров — ну тех самых, которые из панды делают гиббона, рояль или что угодно другое маленьким шумом.
А потом перешли к понятию внимания; это очень интересная штука и с точки зрения нейробиологии (хотя там я мало что понимаю), и, как выясняется, с точки зрения искусственных нейросетей. Начали с первых работ о внимании (Larochelle, Hinton, 2010, например), потом обсудили рекуррентные модели внимания и где там возникает RL, а потом перешли к уже более современным архитектурам: encoder-decoder with attention вроде Show, Attend, and Tell.
В этот раз до self-attention не дошли, но на следующей лекции отступать будет уже некуда, будем о трансформерах говорить.)
#spsu #lectures #dl2025
СПбГУ — 2025.10.02 — Состязательные примеры и механизмы внимания
(слайды и доска на странице курса)
Начали с состязательных примеров — ну тех самых, которые из панды делают гиббона, рояль или что угодно другое маленьким шумом.
А потом перешли к понятию внимания; это очень интересная штука и с точки зрения нейробиологии (хотя там я мало что понимаю), и, как выясняется, с точки зрения искусственных нейросетей. Начали с первых работ о внимании (Larochelle, Hinton, 2010, например), потом обсудили рекуррентные модели внимания и где там возникает RL, а потом перешли к уже более современным архитектурам: encoder-decoder with attention вроде Show, Attend, and Tell.
В этот раз до self-attention не дошли, но на следующей лекции отступать будет уже некуда, будем о трансформерах говорить.)
#spsu #lectures #dl2025
👍16