Когда-то давным-давно, в прошлой жизни, я работал в Лаборатории интернет-исследований (ЛИНИС) в питерской ВШЭ, под руководством Олеси и Сергея Кольцовых. Мы занимались чем-то на грани машинного обучения и социологии, лично я в основном делал тогда разного рода тематическое моделирование (поищите здесь "Koltsov", немало всякого найдёте). Было это давно, мы все были куда моложе, и надо сказать, что это было отличное время, и большое Олесе и Сергею спасибо за те годы и то сотрудничество!
После этого на какое-то время мы с Кольцовыми почти потеряли контакт, но в последний где-то год опять его восстановили и продолжаем сотрудничать; надеюсь, смогу вскорости поделиться плодами этого сотрудничества. С тех пор ЛИНИС расширилась и, в частности, породила из своего чрева Лабораторию социальной и когнитивной информатики (СКИЛА).
И вот теперь Сергей меня попросил расшарить их вакансию; если интересуетесь тонкой гранью ML и социальных наук, думаю, дело хорошее.)
=====
Научный сотрудник (постдок)
НИУ ВШЭ, Санкт-Петербург · от 140 000 ₽ (до НДФЛ)
Опыт: от 3 лет · Полная занятость · Срок: 1 год (с продлением)
Подразделение: Лаборатория социальной и когнитивной информатики
Проект: анализ взаимодействия человека с информацией и развитие AI/ML-алгоритмов
Задачи:
• оптимизация нейросетевых моделей (в т.ч. с параметризованными/энтропийными подходами);
• анализ текстовых данных и аффективных состояний;
• интерпретация моделей (визуализация, причины ошибок);
• разработка прототипа AI-сервиса;
• построение воспроизводимых ML-пайплайнов (Hugging Face, ollama, Unsloth, docker).
Требования:
• ученая степень (канд./PhD);
• опыт в ML и математическом моделировании;
• Python, PyTorch, Transformers;
• английский (технический);
• готовность к исследованиям и командной работе.
Дополнительно:
• участие в конференциях, публикациях, open-source;
• наставничество студентов, участие в прикладных проектах.
Условия:
• междисциплинарная команда;
• доступ к HPC (Charisma);
• поддержка научной активности.
Подробности у Сергея Николаевича Кольцова (skoltsov@hse.ru)
#work
После этого на какое-то время мы с Кольцовыми почти потеряли контакт, но в последний где-то год опять его восстановили и продолжаем сотрудничать; надеюсь, смогу вскорости поделиться плодами этого сотрудничества. С тех пор ЛИНИС расширилась и, в частности, породила из своего чрева Лабораторию социальной и когнитивной информатики (СКИЛА).
И вот теперь Сергей меня попросил расшарить их вакансию; если интересуетесь тонкой гранью ML и социальных наук, думаю, дело хорошее.)
=====
Научный сотрудник (постдок)
НИУ ВШЭ, Санкт-Петербург · от 140 000 ₽ (до НДФЛ)
Опыт: от 3 лет · Полная занятость · Срок: 1 год (с продлением)
Подразделение: Лаборатория социальной и когнитивной информатики
Проект: анализ взаимодействия человека с информацией и развитие AI/ML-алгоритмов
Задачи:
• оптимизация нейросетевых моделей (в т.ч. с параметризованными/энтропийными подходами);
• анализ текстовых данных и аффективных состояний;
• интерпретация моделей (визуализация, причины ошибок);
• разработка прототипа AI-сервиса;
• построение воспроизводимых ML-пайплайнов (Hugging Face, ollama, Unsloth, docker).
Требования:
• ученая степень (канд./PhD);
• опыт в ML и математическом моделировании;
• Python, PyTorch, Transformers;
• английский (технический);
• готовность к исследованиям и командной работе.
Дополнительно:
• участие в конференциях, публикациях, open-source;
• наставничество студентов, участие в прикладных проектах.
Условия:
• междисциплинарная команда;
• доступ к HPC (Charisma);
• поддержка научной активности.
Подробности у Сергея Николаевича Кольцова (skoltsov@hse.ru)
#work
❤12🤡6🤔4🤯2🤣2
Выложил видео последнего доклада с семинара лаборатории Маркова:
CayleyPy-4: AI-Holography. Towards analogs of holographic string dualities for AI tasks
(слайды на странице семинара)
Сложные комбинаторные задачи часто живут на графах состояний, между которыми есть рёбра-переходы. Графы часто будут получаться астрономического размера: представьте себе, например, граф состояний для кубика Рубика, а потом для шахмат, а потом для го... Основная идея CayleyPy (как я её понял) — заменить сложное графовое описание на геометрическое, в котором состояние превращается в путь по многоугольнику / многограннику, а, например, поиск кратчайших путей превращается в площадь между двумя путями.
Это и есть та самая голография (в смысле holographic principle), и из этого, как показывают авторы, могут получаться очень эффективные алгоритмы для решения тех самых задач.
Если честно, более глобальные аналогии, тем паче из теории струн, я из доклада не очень понял, образования не хватило. Но надеюсь, что там тоже есть интересное содержание. А главное — надеюсь, что коллеги заинтересовались, и из этого доклада действительно выйдет некое научное сотрудничество.
#spsu #seminar #markovlab
CayleyPy-4: AI-Holography. Towards analogs of holographic string dualities for AI tasks
(слайды на странице семинара)
Сложные комбинаторные задачи часто живут на графах состояний, между которыми есть рёбра-переходы. Графы часто будут получаться астрономического размера: представьте себе, например, граф состояний для кубика Рубика, а потом для шахмат, а потом для го... Основная идея CayleyPy (как я её понял) — заменить сложное графовое описание на геометрическое, в котором состояние превращается в путь по многоугольнику / многограннику, а, например, поиск кратчайших путей превращается в площадь между двумя путями.
Это и есть та самая голография (в смысле holographic principle), и из этого, как показывают авторы, могут получаться очень эффективные алгоритмы для решения тех самых задач.
Если честно, более глобальные аналогии, тем паче из теории струн, я из доклада не очень понял, образования не хватило. Но надеюсь, что там тоже есть интересное содержание. А главное — надеюсь, что коллеги заинтересовались, и из этого доклада действительно выйдет некое научное сотрудничество.
#spsu #seminar #markovlab
❤14👍4🤯1
В пятничном посте сегодня два представителя жанра high weirdness: одна очень крутая, другая — скорее провал. Но обе очень необычные! Пост сокращаю, полный по ссылке:
Странные игры: ENA: Dream BBQ и Dreams of Another
Есть такой жанр игр, в которых на экране происходит буквально чёрт знает что, напоминающее мультфильмы Роберта Саакянца (очень рекомендую!) или эксперименты Терри Гиллиама в Monty Python. Намеренно странные игры, в которых абсурд и хаос становятся основным содержанием.
К этому жанру относятся, например, Hylics, Wattam, Jazzpunk или рассмотренный мной недавно The Norwood Suite. Сегодня — две игры из этого ряда.
ENA: Dream BBQ
Это первая интерактивная часть серии ENA, созданной перуанским аниматором Хоэлем Герра (Joel G). Проект начался в 2020 году как мультсериал на YouTube. [...] Главная героиня ENA — гуманоид с двуцветным телом, чей дизайн вдохновлён картиной Пикассо “Девушка перед зеркалом” и бразильским художником Ромеро Бритто, а движения — фильмами Джеки Чана. Всё понятно?
Визуал здесь — калейдоскопическая смесь всего на свете: эстетика CD-i игр, раннеинтернетная графика, ретро-3D в духе PS1, плоские 2D-персонажи поверх трёхмерных сцен, текстуры из каких-то параллельных реальностей. Всё это круто работает вместе и создаёт какой-то свой особенный визуальный язык. Каждый экран хочется заскринить, и я себе особо не отказывал.
А ещё звук! Точнее, не сам звук в смысле саундтрек — на него я как-то даже не обратил внимания — а диалоги. Каждый персонаж говорит на своём языке: два главных героя ведут диалог один на английском, а другой на японском, есть и экспрессивная итальянская речь, и греческий, и испанский, и даже русский. При этом все друг друга прекрасно понимают. Это очень обаятельно звучит.
Геймплей стандартный: надо ходить и выполнять нехитрые квесты. Главная героиня ENA ищет некоего “Босса”. [...] Главная задача первой части — добраться до туалета. Здесь есть немножко платформинга, немножко головоломок, есть разветвления — но всё это скорее просто повод для того, чтобы показать вам очередную невероятную локацию и познакомить с очередным невероятным персонажем.
Так что да, получил много удовольствия!
Dreams of Another
А вот это high weirdness, на мой взгляд, в плохом смысле слова. Это проект мультимедийного художника Baiyon (Томохиса Курамицу). [...] Издателем выступила Sony, что само по себе уже значит, что это не совсем домашняя поделка.
Игра по сути не игра, а интерактивное искусство, и оно очень, очень старается звучать глубокомысленно. Девиз проекта — “No Creation Without Destruction”, и вся механика построена вокруг этого: вы стреляете из автомата, но автомат здесь не разрушает, а высекает из расплывчатого point cloud объекты окружающего мира.
Концепция, конечно, красивая, и визуальный стиль действительно уникальный — мир построен на тех самых point clouds. [...] Кстати, со многими неживыми объектами здесь можно поговорить, и они выдают “философские” сентенции о смысле бытия. [...]
Вы встретите:
— клоуна, построившего гигантский монумент-кольцо, переплавив обручальные кольца разведённых людей,
— рыбок, которые хотят добраться до океана,
— кротов, чей обряд инициации состоит в том, чтобы забраться на огромный скалодром и прозвенеть в колокол городской башни,
— а главное — странствующего солдата, который не может заставить себя стрелять в людей. [...]
Но всё это длится очень, очень долго. Сценки постоянно повторяют одни и те же места действия, и их надо сначала раскрыть, расстреляв облака точек, что каждый раз занимает по несколько минут...
Признаюсь в грехе: когда я совсем устал от этого псевдофилософствования, я подглядел в прохождение и увидел, что за 2.5 часа я продвинулся только до середины игры. И немедленно бросил.
В общем, держитесь подальше.
#games #tgif
Странные игры: ENA: Dream BBQ и Dreams of Another
Есть такой жанр игр, в которых на экране происходит буквально чёрт знает что, напоминающее мультфильмы Роберта Саакянца (очень рекомендую!) или эксперименты Терри Гиллиама в Monty Python. Намеренно странные игры, в которых абсурд и хаос становятся основным содержанием.
К этому жанру относятся, например, Hylics, Wattam, Jazzpunk или рассмотренный мной недавно The Norwood Suite. Сегодня — две игры из этого ряда.
ENA: Dream BBQ
Это первая интерактивная часть серии ENA, созданной перуанским аниматором Хоэлем Герра (Joel G). Проект начался в 2020 году как мультсериал на YouTube. [...] Главная героиня ENA — гуманоид с двуцветным телом, чей дизайн вдохновлён картиной Пикассо “Девушка перед зеркалом” и бразильским художником Ромеро Бритто, а движения — фильмами Джеки Чана. Всё понятно?
Визуал здесь — калейдоскопическая смесь всего на свете: эстетика CD-i игр, раннеинтернетная графика, ретро-3D в духе PS1, плоские 2D-персонажи поверх трёхмерных сцен, текстуры из каких-то параллельных реальностей. Всё это круто работает вместе и создаёт какой-то свой особенный визуальный язык. Каждый экран хочется заскринить, и я себе особо не отказывал.
А ещё звук! Точнее, не сам звук в смысле саундтрек — на него я как-то даже не обратил внимания — а диалоги. Каждый персонаж говорит на своём языке: два главных героя ведут диалог один на английском, а другой на японском, есть и экспрессивная итальянская речь, и греческий, и испанский, и даже русский. При этом все друг друга прекрасно понимают. Это очень обаятельно звучит.
Геймплей стандартный: надо ходить и выполнять нехитрые квесты. Главная героиня ENA ищет некоего “Босса”. [...] Главная задача первой части — добраться до туалета. Здесь есть немножко платформинга, немножко головоломок, есть разветвления — но всё это скорее просто повод для того, чтобы показать вам очередную невероятную локацию и познакомить с очередным невероятным персонажем.
Так что да, получил много удовольствия!
Dreams of Another
А вот это high weirdness, на мой взгляд, в плохом смысле слова. Это проект мультимедийного художника Baiyon (Томохиса Курамицу). [...] Издателем выступила Sony, что само по себе уже значит, что это не совсем домашняя поделка.
Игра по сути не игра, а интерактивное искусство, и оно очень, очень старается звучать глубокомысленно. Девиз проекта — “No Creation Without Destruction”, и вся механика построена вокруг этого: вы стреляете из автомата, но автомат здесь не разрушает, а высекает из расплывчатого point cloud объекты окружающего мира.
Концепция, конечно, красивая, и визуальный стиль действительно уникальный — мир построен на тех самых point clouds. [...] Кстати, со многими неживыми объектами здесь можно поговорить, и они выдают “философские” сентенции о смысле бытия. [...]
Вы встретите:
— клоуна, построившего гигантский монумент-кольцо, переплавив обручальные кольца разведённых людей,
— рыбок, которые хотят добраться до океана,
— кротов, чей обряд инициации состоит в том, чтобы забраться на огромный скалодром и прозвенеть в колокол городской башни,
— а главное — странствующего солдата, который не может заставить себя стрелять в людей. [...]
Но всё это длится очень, очень долго. Сценки постоянно повторяют одни и те же места действия, и их надо сначала раскрыть, расстреляв облака точек, что каждый раз занимает по несколько минут...
Признаюсь в грехе: когда я совсем устал от этого псевдофилософствования, я подглядел в прохождение и увидел, что за 2.5 часа я продвинулся только до середины игры. И немедленно бросил.
В общем, держитесь подальше.
#games #tgif
❤6👍3🥱1
Сегодня семинар опять был удалённо, и очень круто получилось!
Ильдус не просто рассказал о том, как там термодинамика из градиентного спуска получается, а буквально провёл на доске-планшете вывод ключевых результатов. Это всегда гораздо лучше выглядит и понимается, чем формулы на слайдах, я тоже так на своих лекциях постоянно делаю.
Но было нелегко! Думаю, я ещё и сам буду запись пересматривать.) Чего и вам желаю.
#markovlab #seminar #spsu
Ильдус не просто рассказал о том, как там термодинамика из градиентного спуска получается, а буквально провёл на доске-планшете вывод ключевых результатов. Это всегда гораздо лучше выглядит и понимается, чем формулы на слайдах, я тоже так на своих лекциях постоянно делаю.
Но было нелегко! Думаю, я ещё и сам буду запись пересматривать.) Чего и вам желаю.
#markovlab #seminar #spsu
🔥18❤9👍1
Продолжу сегодня не про AI, уж извините. Мои попытки играть на пианино потихонечку куда-то движутся, и вот на вчерашнем джеме наконец-то сыграл более-менее, по крайней мере не сбился ни разу.
Так что решусь показать:
Jamschool — 2026.03.27 — Waltz Limp
Даже преподаватель мой сказал, что первые четыре страницы я сыграл хорошо.) Дальше, конечно, пошла аккордовая техника, с которой проблемы. И ни в коем случае не пытайтесь найти оригинал Брубека, там вообще жесть, которую я никогда в жизни не сыграю.) Но я и не претендую; а так вроде прогресс какой-то есть, и это хорошо.
#music #lifestyle
Так что решусь показать:
Jamschool — 2026.03.27 — Waltz Limp
Даже преподаватель мой сказал, что первые четыре страницы я сыграл хорошо.) Дальше, конечно, пошла аккордовая техника, с которой проблемы. И ни в коем случае не пытайтесь найти оригинал Брубека, там вообще жесть, которую я никогда в жизни не сыграю.) Но я и не претендую; а так вроде прогресс какой-то есть, и это хорошо.
#music #lifestyle
🔥22❤16👍8🥱1🐳1
А вот и второй мой доклад из Сириуса двухнедельной давности:
AI Safety в начале 2026 года
(слайды на странице "Выступления")
Про AI safety тоже, конечно, одно удовольствие рассказывать: с пессимистической стороны это несомненно важнейшее, что происходит сейчас с человечеством, а с оптимистической — набор крутых сюжетов, которые всегда вызывают живую реакцию аудитории.
Тем более что, как я уже писал, школьники в Сириусе были замечательные, всё понимали и нервно смеялись в нужных местах. А мест таких всё больше: вот в этот раз, например, я закончил примером январской новости от OpenAI, которые ничтоже сумняшеся... подключили GPT-5 самостоятельно управлять полностью автоматизированной биолабораторией. На 40% быстрее новые белки разрабатывались, говорят, ага.
#talks #events #lectures
AI Safety в начале 2026 года
(слайды на странице "Выступления")
Про AI safety тоже, конечно, одно удовольствие рассказывать: с пессимистической стороны это несомненно важнейшее, что происходит сейчас с человечеством, а с оптимистической — набор крутых сюжетов, которые всегда вызывают живую реакцию аудитории.
Тем более что, как я уже писал, школьники в Сириусе были замечательные, всё понимали и нервно смеялись в нужных местах. А мест таких всё больше: вот в этот раз, например, я закончил примером январской новости от OpenAI, которые ничтоже сумняшеся... подключили GPT-5 самостоятельно управлять полностью автоматизированной биолабораторией. На 40% быстрее новые белки разрабатывались, говорят, ага.
#talks #events #lectures
❤12👍3
Следующий доклад на семинаре лаборатории Маркова будет опять удалённый, но на этот раз из Москвы. Это, кстати, ещё один хороший источник докладчиков на семинарах — я сейчас у Дмитрия в комитете по защите диссертации, так что вот заодно позвал его о своей диссертации рассказать у нас. Язык анонса сегодня особенно шершав, потому что это буквально абстракт диссертации:
Устойчивость моделей глубокого обучения
Ссылка на трансляцию (пятница 3 апреля, 14:00)
Дмитрий Корж (Сколковский институт науки и технологий)
В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.
Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.
Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.
#markovlab #seminar #spsu
Устойчивость моделей глубокого обучения
Ссылка на трансляцию (пятница 3 апреля, 14:00)
Дмитрий Корж (Сколковский институт науки и технологий)
В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.
Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.
Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.
#markovlab #seminar #spsu
❤9✍7👍1
В курсе "Графические вероятностные модели" в пятницу начали говорить о приближённом выводе, а точнее, о сэмплировании:
СПбГУ — 2026.03.27 — Сэмплирование
(слайды и доска, как всегда, на странице курса)
При чём оно в курсе машинного обучения? Да при том, что в ML постоянно надо считать какие-то сложные математические ожидания; собственно, предсказательное распределение модели — это ожидание по апостериорному распределению. И это распределение обычно даже не дано само по себе в виде плотности, а дано нам в ощущениях как произведение правдоподобия на априорное; то есть мы не умеем даже считать p(x), а умеем считать только что-то пропорциональное p(x).
А ещё ведь проклятие размерности! В размерности 2-3 всегда можно и посэмплировать, и ожидания посчитать, просто накрыв распределение чем-нибудь или приблизив по сеточке. Но в больших размерностях (которые в ML и нужны) не пройдут ни такие трюки, ни более разумные выборку с отклонением (rejection sampling) и выборку с весами значимости (importance sampling), которые мы тоже изучили.
И тем не менее, даже при таких вводных вполне можно что-то сделать! Для этого нужны методы Markov chain Monte Carlo (MCMC): алгоритм Метрополиса-Гастингса и его важный частный случай, сэмплирование по Гиббсу. Их мы тоже подробно обсудили.
А в следующий раз мы будем изучать мой любимый пример в этом курсе: SIR-модели из эпидемиологии.
#spsu #lectures #pgm2026
СПбГУ — 2026.03.27 — Сэмплирование
(слайды и доска, как всегда, на странице курса)
При чём оно в курсе машинного обучения? Да при том, что в ML постоянно надо считать какие-то сложные математические ожидания; собственно, предсказательное распределение модели — это ожидание по апостериорному распределению. И это распределение обычно даже не дано само по себе в виде плотности, а дано нам в ощущениях как произведение правдоподобия на априорное; то есть мы не умеем даже считать p(x), а умеем считать только что-то пропорциональное p(x).
А ещё ведь проклятие размерности! В размерности 2-3 всегда можно и посэмплировать, и ожидания посчитать, просто накрыв распределение чем-нибудь или приблизив по сеточке. Но в больших размерностях (которые в ML и нужны) не пройдут ни такие трюки, ни более разумные выборку с отклонением (rejection sampling) и выборку с весами значимости (importance sampling), которые мы тоже изучили.
И тем не менее, даже при таких вводных вполне можно что-то сделать! Для этого нужны методы Markov chain Monte Carlo (MCMC): алгоритм Метрополиса-Гастингса и его важный частный случай, сэмплирование по Гиббсу. Их мы тоже подробно обсудили.
А в следующий раз мы будем изучать мой любимый пример в этом курсе: SIR-модели из эпидемиологии.
#spsu #lectures #pgm2026
1❤15👍2🔥1
Пропустил день дураков вчера, а сегодня у меня для вас уже без дураков большой содержательный пост.
Статья "TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate" сейчас завирусилась после того, как попала на ICLR 2026; вот и Google Research выпустил блогпост про неё только сейчас. Акции производителей памяти — Samsung, SK Hynix, Micron — упали на 3–6% за один день, и маркетинговые заголовки зазвучали в духе "$450B Wiped Out - Google TurboQuant Just Crashed RAM Prices 30% Overnight".
На это ужасно смешно смотреть, потому что на самом деле статья висит на arXiv с апреля 2025 года, ей уже год. А математика, на которой она стоит, — теория кодирования Шеннона, алгоритм Ллойда-Макса, лемма Джонсона-Линденштраусса — и вовсе вечна.
В сегодняшнем посте разберёмся, почему эта работа действительно красивая и важная, несмотря на несвоевременный хайп:
Вечная математика TurboQuant: как сжать KV-кэш до предела Шеннона
Пост длинный, я постарался объяснить всё подробно от самого начала (но без особенных доказательств), так что здесь напишу только подробную структуру и сокращённое заключение.
1. Зачем нужна квантизация: контекст проблемы
— Числа с плавающей точкой — это дорого
— Идея квантизации
— Типы квантизации
— Проблема нормализации
2. Нижняя граница Шеннона: почему лучше почти невозможно
— Теорема Шеннона о кодировании с искажением
— Применение к единичной сфере
— От MSE к скалярным произведениям
— Минимакс Яо
3. PolarQuant: полярные координаты убирают overhead
— Проблема: выбросы и нормализация
— Идея PolarQuant
— Почему это работает
— Результаты PolarQuant
4. TurboQuant: ключевые идеи
— Шаг 0: нормализация
— Шаг 1: случайный поворот
— Шаг 2: оптимальная скалярная квантизация (Lloyd-Max)
— Теорема 1 (MSE-гарантия TurboQuant)
5. Проблема смещения: зачем нужен второй этап
— QJL: однобитовый метод
— Собственно TurboQuant
— Теорема 2 (качество квантизации для скалярных произведений)
6. Эксперименты: что на практике
— KV-кэш
— Поиск ближайших соседей
7. Что сделало сообщество
8. Другой подход: KVTC от Nvidia
9. Заключение
Мимо истории TurboQuant пройти было невозможно.
Во-первых, это тот самый пример, когда вечная математика — в данном случае теория информации и довольно глубокие результаты из теории вероятностей — напрямую приводит к state-of-the-art результатам в задаче, которая имеет очень большое практическое значение. Для TurboQuant не нужно обучать мета-модель, не нужен reinforcement learning, не нужны архитектурные или инженерные трюки. Только случайный поворот, оптимальный скалярный квантизатор шестидесятилетней давности и однобитовая добавка на невязку, и всё.
Во-вторых, результат доказуемо близок к оптимальному. Это тоже редко бывает в машинном обучении, и это всегда приятно и интересно видеть.
В-третьих, это data-oblivious алгоритм, работающий онлайн. Его codebooks зависят только от размерности и числа бит, и один и тот же квантизатор работает для любой модели.
В-четвёртых, опять подтвердилась восходящая по крайней мере к 1880-м цитата: “In theory, there is no difference between theory and practice; in practice, there is”. Практические реализации тут же показали, что QJL-этап, который теоретически необходим для несмещённости, на практике может вредить, или что ключи и значения нужно квантизовать асимметрично.
Ну и наконец, сам по себе факт того, что сжатие KV-кэша подходит к пределу Шеннона, означает, что гонка за сжатие в этом конкретном направлении приближается к завершению. В рамках data-oblivious подхода выжать сильно больше уже невозможно, так что дальнейший прогресс будет за счёт data-dependent методов (как KVTC) или гибридных подходов; а может, появятся какие-то совершенно другие парадигмы.
А математика и правда вечна. В этом посте мы упоминали работы Шеннона (1948, 1959), Ллойда (1957) и Макса (1960), Джонсона и Линденштраусса (1986) — и именно они оказались ключевыми для самой громкой инженерной новости марта 2026 года. Занимайтесь математикой, не прогадаете!
#blog #ai #longreads
Статья "TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate" сейчас завирусилась после того, как попала на ICLR 2026; вот и Google Research выпустил блогпост про неё только сейчас. Акции производителей памяти — Samsung, SK Hynix, Micron — упали на 3–6% за один день, и маркетинговые заголовки зазвучали в духе "$450B Wiped Out - Google TurboQuant Just Crashed RAM Prices 30% Overnight".
На это ужасно смешно смотреть, потому что на самом деле статья висит на arXiv с апреля 2025 года, ей уже год. А математика, на которой она стоит, — теория кодирования Шеннона, алгоритм Ллойда-Макса, лемма Джонсона-Линденштраусса — и вовсе вечна.
В сегодняшнем посте разберёмся, почему эта работа действительно красивая и важная, несмотря на несвоевременный хайп:
Вечная математика TurboQuant: как сжать KV-кэш до предела Шеннона
Пост длинный, я постарался объяснить всё подробно от самого начала (но без особенных доказательств), так что здесь напишу только подробную структуру и сокращённое заключение.
1. Зачем нужна квантизация: контекст проблемы
— Числа с плавающей точкой — это дорого
— Идея квантизации
— Типы квантизации
— Проблема нормализации
2. Нижняя граница Шеннона: почему лучше почти невозможно
— Теорема Шеннона о кодировании с искажением
— Применение к единичной сфере
— От MSE к скалярным произведениям
— Минимакс Яо
3. PolarQuant: полярные координаты убирают overhead
— Проблема: выбросы и нормализация
— Идея PolarQuant
— Почему это работает
— Результаты PolarQuant
4. TurboQuant: ключевые идеи
— Шаг 0: нормализация
— Шаг 1: случайный поворот
— Шаг 2: оптимальная скалярная квантизация (Lloyd-Max)
— Теорема 1 (MSE-гарантия TurboQuant)
5. Проблема смещения: зачем нужен второй этап
— QJL: однобитовый метод
— Собственно TurboQuant
— Теорема 2 (качество квантизации для скалярных произведений)
6. Эксперименты: что на практике
— KV-кэш
— Поиск ближайших соседей
7. Что сделало сообщество
8. Другой подход: KVTC от Nvidia
9. Заключение
Мимо истории TurboQuant пройти было невозможно.
Во-первых, это тот самый пример, когда вечная математика — в данном случае теория информации и довольно глубокие результаты из теории вероятностей — напрямую приводит к state-of-the-art результатам в задаче, которая имеет очень большое практическое значение. Для TurboQuant не нужно обучать мета-модель, не нужен reinforcement learning, не нужны архитектурные или инженерные трюки. Только случайный поворот, оптимальный скалярный квантизатор шестидесятилетней давности и однобитовая добавка на невязку, и всё.
Во-вторых, результат доказуемо близок к оптимальному. Это тоже редко бывает в машинном обучении, и это всегда приятно и интересно видеть.
В-третьих, это data-oblivious алгоритм, работающий онлайн. Его codebooks зависят только от размерности и числа бит, и один и тот же квантизатор работает для любой модели.
В-четвёртых, опять подтвердилась восходящая по крайней мере к 1880-м цитата: “In theory, there is no difference between theory and practice; in practice, there is”. Практические реализации тут же показали, что QJL-этап, который теоретически необходим для несмещённости, на практике может вредить, или что ключи и значения нужно квантизовать асимметрично.
Ну и наконец, сам по себе факт того, что сжатие KV-кэша подходит к пределу Шеннона, означает, что гонка за сжатие в этом конкретном направлении приближается к завершению. В рамках data-oblivious подхода выжать сильно больше уже невозможно, так что дальнейший прогресс будет за счёт data-dependent методов (как KVTC) или гибридных подходов; а может, появятся какие-то совершенно другие парадигмы.
А математика и правда вечна. В этом посте мы упоминали работы Шеннона (1948, 1959), Ллойда (1957) и Макса (1960), Джонсона и Линденштраусса (1986) — и именно они оказались ключевыми для самой громкой инженерной новости марта 2026 года. Занимайтесь математикой, не прогадаете!
#blog #ai #longreads
1🔥22👍10❤7