Следующий доклад на семинаре лаборатории Маркова не могу не порекомендовать особенно. Я вчера вспомнил OpenTalks по ассоциации, потому что самой запомнившейся именно научной идеей там была лекция Дмитрия Ветрова об их недавно начавшемся подходе, устанавливающем связь между глубоким обучением (точнее, свойствами стохастического градиентного спуска) и... термодинамикой. Я тогда так впечатлился, что написал пост с введением в эту тему и начал с Дмитрием и его группой более подробно об этом общаться.
И вот к нам на семинар придёт (виртуально) собственно первый автор той статьи, который расскажет обо всём, надеюсь, ещё подробнее и понятнее:
О масштабно-инвариантных нейросетях и идеальных газах
Ссылка на трансляцию (пятница 27 марта, 14:00)
Ильдус Садртдинов (Constructor University, Bremen)
На этом семинаре мы вспомним школьный курс термодинамики и поговорим о модели идеального газа. Оказывается, что у идеального газа есть довольно точная аналогия в мире стохастической оптимизации — масштабно-инвариантные (МИ) нейронные сети.
В отличие от существующих работ по поиску взаимосвязей между термодинамикой и оптимизацией, которые главным образом оперируют с температурой T, мы покажем, что МИ-сети позволяют естественное определение величин давления p и объёма V, а также приводят к уравнению идеального газа pV/T=const (при некоторых ограничениях на матрицу ковариаций шума стохастических градиентов). Подобная аналогия улучшает понимание, как гиперпараметры обучения (такие как learning rate и weight decay) влияют на стационарное распределение стохастического градиентного спуска.
Этот рассказ будет в первую очередь о математической красоте, когда в двух совершенно разных мирах (термодинамике и оптимизации) находятся две по сути одинаковые конструкции.
#markovlab #seminar #spsu
И вот к нам на семинар придёт (виртуально) собственно первый автор той статьи, который расскажет обо всём, надеюсь, ещё подробнее и понятнее:
О масштабно-инвариантных нейросетях и идеальных газах
Ссылка на трансляцию (пятница 27 марта, 14:00)
Ильдус Садртдинов (Constructor University, Bremen)
На этом семинаре мы вспомним школьный курс термодинамики и поговорим о модели идеального газа. Оказывается, что у идеального газа есть довольно точная аналогия в мире стохастической оптимизации — масштабно-инвариантные (МИ) нейронные сети.
В отличие от существующих работ по поиску взаимосвязей между термодинамикой и оптимизацией, которые главным образом оперируют с температурой T, мы покажем, что МИ-сети позволяют естественное определение величин давления p и объёма V, а также приводят к уравнению идеального газа pV/T=const (при некоторых ограничениях на матрицу ковариаций шума стохастических градиентов). Подобная аналогия улучшает понимание, как гиперпараметры обучения (такие как learning rate и weight decay) влияют на стационарное распределение стохастического градиентного спуска.
Этот рассказ будет в первую очередь о математической красоте, когда в двух совершенно разных мирах (термодинамике и оптимизации) находятся две по сути одинаковые конструкции.
#markovlab #seminar #spsu
🔥16❤3👍2
В курсе "Графические вероятностные модели" в пятницу была основная лекция про, собственно говоря, графические вероятностные модели:
СПбГУ — 2026.03.20 — Графические модели, фактор-графы, алгоритм передачи сообщений
(слайды и доска, как всегда, на странице курса)
Это классическая идея с очень долгой историей: кажется очень интуитивным нарисовать граф, выражающий, что "одна переменная зависит от другой". Но что это реально математически значит? Зависимость в вероятностном смысле (а нам в итоге нужен именно он, мы же обучать что-то хотим в этом графе) — это не то чтобы однозначно направленное ребро. Да и зависимости и независимости обычно бывают условными: в модели всё со всем связано (иначе зачем она такая нужна), но связано опосредованно, одни переменные связаны через другие.
Графические вероятностные модели — это о том, как всё-таки нарисовать что-то так, чтобы оно имело и наглядный интуитивный смысл, и формальный математический. Бывают направленные и ненаправленные модели, и у них внезапно довольно сложные взаимоотношения: не любые вероятностные предположения можно нарисовать, причём разными моделями можно нарисовать разные случаи. А ещё бывают фактор-графы, и ими уже можно нарисовать всё буквально по определению, но люди как-то больше привыкли рисовать именно направленные модели.
В общем, мы это всё обсудили, и обсудили алгоритм передачи сообщений, которым можно вести точный вывод на фактор-графе, являющемся деревом. Но, конечно, интересные и практически важные графы деревьями обычно не являются, и именно для этого нужен приближённый вывод. Об этом мы начнём говорить в следующий раз.
#spsu #lectures #pgm2026
СПбГУ — 2026.03.20 — Графические модели, фактор-графы, алгоритм передачи сообщений
(слайды и доска, как всегда, на странице курса)
Это классическая идея с очень долгой историей: кажется очень интуитивным нарисовать граф, выражающий, что "одна переменная зависит от другой". Но что это реально математически значит? Зависимость в вероятностном смысле (а нам в итоге нужен именно он, мы же обучать что-то хотим в этом графе) — это не то чтобы однозначно направленное ребро. Да и зависимости и независимости обычно бывают условными: в модели всё со всем связано (иначе зачем она такая нужна), но связано опосредованно, одни переменные связаны через другие.
Графические вероятностные модели — это о том, как всё-таки нарисовать что-то так, чтобы оно имело и наглядный интуитивный смысл, и формальный математический. Бывают направленные и ненаправленные модели, и у них внезапно довольно сложные взаимоотношения: не любые вероятностные предположения можно нарисовать, причём разными моделями можно нарисовать разные случаи. А ещё бывают фактор-графы, и ими уже можно нарисовать всё буквально по определению, но люди как-то больше привыкли рисовать именно направленные модели.
В общем, мы это всё обсудили, и обсудили алгоритм передачи сообщений, которым можно вести точный вывод на фактор-графе, являющемся деревом. Но, конечно, интересные и практически важные графы деревьями обычно не являются, и именно для этого нужен приближённый вывод. Об этом мы начнём говорить в следующий раз.
#spsu #lectures #pgm2026
👍9❤5🔥3😁1
Когда-то давным-давно, в прошлой жизни, я работал в Лаборатории интернет-исследований (ЛИНИС) в питерской ВШЭ, под руководством Олеси и Сергея Кольцовых. Мы занимались чем-то на грани машинного обучения и социологии, лично я в основном делал тогда разного рода тематическое моделирование (поищите здесь "Koltsov", немало всякого найдёте). Было это давно, мы все были куда моложе, и надо сказать, что это было отличное время, и большое Олесе и Сергею спасибо за те годы и то сотрудничество!
После этого на какое-то время мы с Кольцовыми почти потеряли контакт, но в последний где-то год опять его восстановили и продолжаем сотрудничать; надеюсь, смогу вскорости поделиться плодами этого сотрудничества. С тех пор ЛИНИС расширилась и, в частности, породила из своего чрева Лабораторию социальной и когнитивной информатики (СКИЛА).
И вот теперь Сергей меня попросил расшарить их вакансию; если интересуетесь тонкой гранью ML и социальных наук, думаю, дело хорошее.)
=====
Научный сотрудник (постдок)
НИУ ВШЭ, Санкт-Петербург · от 140 000 ₽ (до НДФЛ)
Опыт: от 3 лет · Полная занятость · Срок: 1 год (с продлением)
Подразделение: Лаборатория социальной и когнитивной информатики
Проект: анализ взаимодействия человека с информацией и развитие AI/ML-алгоритмов
Задачи:
• оптимизация нейросетевых моделей (в т.ч. с параметризованными/энтропийными подходами);
• анализ текстовых данных и аффективных состояний;
• интерпретация моделей (визуализация, причины ошибок);
• разработка прототипа AI-сервиса;
• построение воспроизводимых ML-пайплайнов (Hugging Face, ollama, Unsloth, docker).
Требования:
• ученая степень (канд./PhD);
• опыт в ML и математическом моделировании;
• Python, PyTorch, Transformers;
• английский (технический);
• готовность к исследованиям и командной работе.
Дополнительно:
• участие в конференциях, публикациях, open-source;
• наставничество студентов, участие в прикладных проектах.
Условия:
• междисциплинарная команда;
• доступ к HPC (Charisma);
• поддержка научной активности.
Подробности у Сергея Николаевича Кольцова (skoltsov@hse.ru)
#work
После этого на какое-то время мы с Кольцовыми почти потеряли контакт, но в последний где-то год опять его восстановили и продолжаем сотрудничать; надеюсь, смогу вскорости поделиться плодами этого сотрудничества. С тех пор ЛИНИС расширилась и, в частности, породила из своего чрева Лабораторию социальной и когнитивной информатики (СКИЛА).
И вот теперь Сергей меня попросил расшарить их вакансию; если интересуетесь тонкой гранью ML и социальных наук, думаю, дело хорошее.)
=====
Научный сотрудник (постдок)
НИУ ВШЭ, Санкт-Петербург · от 140 000 ₽ (до НДФЛ)
Опыт: от 3 лет · Полная занятость · Срок: 1 год (с продлением)
Подразделение: Лаборатория социальной и когнитивной информатики
Проект: анализ взаимодействия человека с информацией и развитие AI/ML-алгоритмов
Задачи:
• оптимизация нейросетевых моделей (в т.ч. с параметризованными/энтропийными подходами);
• анализ текстовых данных и аффективных состояний;
• интерпретация моделей (визуализация, причины ошибок);
• разработка прототипа AI-сервиса;
• построение воспроизводимых ML-пайплайнов (Hugging Face, ollama, Unsloth, docker).
Требования:
• ученая степень (канд./PhD);
• опыт в ML и математическом моделировании;
• Python, PyTorch, Transformers;
• английский (технический);
• готовность к исследованиям и командной работе.
Дополнительно:
• участие в конференциях, публикациях, open-source;
• наставничество студентов, участие в прикладных проектах.
Условия:
• междисциплинарная команда;
• доступ к HPC (Charisma);
• поддержка научной активности.
Подробности у Сергея Николаевича Кольцова (skoltsov@hse.ru)
#work
❤12🤡6🤔4🤯2🤣2
Выложил видео последнего доклада с семинара лаборатории Маркова:
CayleyPy-4: AI-Holography. Towards analogs of holographic string dualities for AI tasks
(слайды на странице семинара)
Сложные комбинаторные задачи часто живут на графах состояний, между которыми есть рёбра-переходы. Графы часто будут получаться астрономического размера: представьте себе, например, граф состояний для кубика Рубика, а потом для шахмат, а потом для го... Основная идея CayleyPy (как я её понял) — заменить сложное графовое описание на геометрическое, в котором состояние превращается в путь по многоугольнику / многограннику, а, например, поиск кратчайших путей превращается в площадь между двумя путями.
Это и есть та самая голография (в смысле holographic principle), и из этого, как показывают авторы, могут получаться очень эффективные алгоритмы для решения тех самых задач.
Если честно, более глобальные аналогии, тем паче из теории струн, я из доклада не очень понял, образования не хватило. Но надеюсь, что там тоже есть интересное содержание. А главное — надеюсь, что коллеги заинтересовались, и из этого доклада действительно выйдет некое научное сотрудничество.
#spsu #seminar #markovlab
CayleyPy-4: AI-Holography. Towards analogs of holographic string dualities for AI tasks
(слайды на странице семинара)
Сложные комбинаторные задачи часто живут на графах состояний, между которыми есть рёбра-переходы. Графы часто будут получаться астрономического размера: представьте себе, например, граф состояний для кубика Рубика, а потом для шахмат, а потом для го... Основная идея CayleyPy (как я её понял) — заменить сложное графовое описание на геометрическое, в котором состояние превращается в путь по многоугольнику / многограннику, а, например, поиск кратчайших путей превращается в площадь между двумя путями.
Это и есть та самая голография (в смысле holographic principle), и из этого, как показывают авторы, могут получаться очень эффективные алгоритмы для решения тех самых задач.
Если честно, более глобальные аналогии, тем паче из теории струн, я из доклада не очень понял, образования не хватило. Но надеюсь, что там тоже есть интересное содержание. А главное — надеюсь, что коллеги заинтересовались, и из этого доклада действительно выйдет некое научное сотрудничество.
#spsu #seminar #markovlab
❤14👍4🤯1
В пятничном посте сегодня два представителя жанра high weirdness: одна очень крутая, другая — скорее провал. Но обе очень необычные! Пост сокращаю, полный по ссылке:
Странные игры: ENA: Dream BBQ и Dreams of Another
Есть такой жанр игр, в которых на экране происходит буквально чёрт знает что, напоминающее мультфильмы Роберта Саакянца (очень рекомендую!) или эксперименты Терри Гиллиама в Monty Python. Намеренно странные игры, в которых абсурд и хаос становятся основным содержанием.
К этому жанру относятся, например, Hylics, Wattam, Jazzpunk или рассмотренный мной недавно The Norwood Suite. Сегодня — две игры из этого ряда.
ENA: Dream BBQ
Это первая интерактивная часть серии ENA, созданной перуанским аниматором Хоэлем Герра (Joel G). Проект начался в 2020 году как мультсериал на YouTube. [...] Главная героиня ENA — гуманоид с двуцветным телом, чей дизайн вдохновлён картиной Пикассо “Девушка перед зеркалом” и бразильским художником Ромеро Бритто, а движения — фильмами Джеки Чана. Всё понятно?
Визуал здесь — калейдоскопическая смесь всего на свете: эстетика CD-i игр, раннеинтернетная графика, ретро-3D в духе PS1, плоские 2D-персонажи поверх трёхмерных сцен, текстуры из каких-то параллельных реальностей. Всё это круто работает вместе и создаёт какой-то свой особенный визуальный язык. Каждый экран хочется заскринить, и я себе особо не отказывал.
А ещё звук! Точнее, не сам звук в смысле саундтрек — на него я как-то даже не обратил внимания — а диалоги. Каждый персонаж говорит на своём языке: два главных героя ведут диалог один на английском, а другой на японском, есть и экспрессивная итальянская речь, и греческий, и испанский, и даже русский. При этом все друг друга прекрасно понимают. Это очень обаятельно звучит.
Геймплей стандартный: надо ходить и выполнять нехитрые квесты. Главная героиня ENA ищет некоего “Босса”. [...] Главная задача первой части — добраться до туалета. Здесь есть немножко платформинга, немножко головоломок, есть разветвления — но всё это скорее просто повод для того, чтобы показать вам очередную невероятную локацию и познакомить с очередным невероятным персонажем.
Так что да, получил много удовольствия!
Dreams of Another
А вот это high weirdness, на мой взгляд, в плохом смысле слова. Это проект мультимедийного художника Baiyon (Томохиса Курамицу). [...] Издателем выступила Sony, что само по себе уже значит, что это не совсем домашняя поделка.
Игра по сути не игра, а интерактивное искусство, и оно очень, очень старается звучать глубокомысленно. Девиз проекта — “No Creation Without Destruction”, и вся механика построена вокруг этого: вы стреляете из автомата, но автомат здесь не разрушает, а высекает из расплывчатого point cloud объекты окружающего мира.
Концепция, конечно, красивая, и визуальный стиль действительно уникальный — мир построен на тех самых point clouds. [...] Кстати, со многими неживыми объектами здесь можно поговорить, и они выдают “философские” сентенции о смысле бытия. [...]
Вы встретите:
— клоуна, построившего гигантский монумент-кольцо, переплавив обручальные кольца разведённых людей,
— рыбок, которые хотят добраться до океана,
— кротов, чей обряд инициации состоит в том, чтобы забраться на огромный скалодром и прозвенеть в колокол городской башни,
— а главное — странствующего солдата, который не может заставить себя стрелять в людей. [...]
Но всё это длится очень, очень долго. Сценки постоянно повторяют одни и те же места действия, и их надо сначала раскрыть, расстреляв облака точек, что каждый раз занимает по несколько минут...
Признаюсь в грехе: когда я совсем устал от этого псевдофилософствования, я подглядел в прохождение и увидел, что за 2.5 часа я продвинулся только до середины игры. И немедленно бросил.
В общем, держитесь подальше.
#games #tgif
Странные игры: ENA: Dream BBQ и Dreams of Another
Есть такой жанр игр, в которых на экране происходит буквально чёрт знает что, напоминающее мультфильмы Роберта Саакянца (очень рекомендую!) или эксперименты Терри Гиллиама в Monty Python. Намеренно странные игры, в которых абсурд и хаос становятся основным содержанием.
К этому жанру относятся, например, Hylics, Wattam, Jazzpunk или рассмотренный мной недавно The Norwood Suite. Сегодня — две игры из этого ряда.
ENA: Dream BBQ
Это первая интерактивная часть серии ENA, созданной перуанским аниматором Хоэлем Герра (Joel G). Проект начался в 2020 году как мультсериал на YouTube. [...] Главная героиня ENA — гуманоид с двуцветным телом, чей дизайн вдохновлён картиной Пикассо “Девушка перед зеркалом” и бразильским художником Ромеро Бритто, а движения — фильмами Джеки Чана. Всё понятно?
Визуал здесь — калейдоскопическая смесь всего на свете: эстетика CD-i игр, раннеинтернетная графика, ретро-3D в духе PS1, плоские 2D-персонажи поверх трёхмерных сцен, текстуры из каких-то параллельных реальностей. Всё это круто работает вместе и создаёт какой-то свой особенный визуальный язык. Каждый экран хочется заскринить, и я себе особо не отказывал.
А ещё звук! Точнее, не сам звук в смысле саундтрек — на него я как-то даже не обратил внимания — а диалоги. Каждый персонаж говорит на своём языке: два главных героя ведут диалог один на английском, а другой на японском, есть и экспрессивная итальянская речь, и греческий, и испанский, и даже русский. При этом все друг друга прекрасно понимают. Это очень обаятельно звучит.
Геймплей стандартный: надо ходить и выполнять нехитрые квесты. Главная героиня ENA ищет некоего “Босса”. [...] Главная задача первой части — добраться до туалета. Здесь есть немножко платформинга, немножко головоломок, есть разветвления — но всё это скорее просто повод для того, чтобы показать вам очередную невероятную локацию и познакомить с очередным невероятным персонажем.
Так что да, получил много удовольствия!
Dreams of Another
А вот это high weirdness, на мой взгляд, в плохом смысле слова. Это проект мультимедийного художника Baiyon (Томохиса Курамицу). [...] Издателем выступила Sony, что само по себе уже значит, что это не совсем домашняя поделка.
Игра по сути не игра, а интерактивное искусство, и оно очень, очень старается звучать глубокомысленно. Девиз проекта — “No Creation Without Destruction”, и вся механика построена вокруг этого: вы стреляете из автомата, но автомат здесь не разрушает, а высекает из расплывчатого point cloud объекты окружающего мира.
Концепция, конечно, красивая, и визуальный стиль действительно уникальный — мир построен на тех самых point clouds. [...] Кстати, со многими неживыми объектами здесь можно поговорить, и они выдают “философские” сентенции о смысле бытия. [...]
Вы встретите:
— клоуна, построившего гигантский монумент-кольцо, переплавив обручальные кольца разведённых людей,
— рыбок, которые хотят добраться до океана,
— кротов, чей обряд инициации состоит в том, чтобы забраться на огромный скалодром и прозвенеть в колокол городской башни,
— а главное — странствующего солдата, который не может заставить себя стрелять в людей. [...]
Но всё это длится очень, очень долго. Сценки постоянно повторяют одни и те же места действия, и их надо сначала раскрыть, расстреляв облака точек, что каждый раз занимает по несколько минут...
Признаюсь в грехе: когда я совсем устал от этого псевдофилософствования, я подглядел в прохождение и увидел, что за 2.5 часа я продвинулся только до середины игры. И немедленно бросил.
В общем, держитесь подальше.
#games #tgif
❤6👍3🥱1
Сегодня семинар опять был удалённо, и очень круто получилось!
Ильдус не просто рассказал о том, как там термодинамика из градиентного спуска получается, а буквально провёл на доске-планшете вывод ключевых результатов. Это всегда гораздо лучше выглядит и понимается, чем формулы на слайдах, я тоже так на своих лекциях постоянно делаю.
Но было нелегко! Думаю, я ещё и сам буду запись пересматривать.) Чего и вам желаю.
#markovlab #seminar #spsu
Ильдус не просто рассказал о том, как там термодинамика из градиентного спуска получается, а буквально провёл на доске-планшете вывод ключевых результатов. Это всегда гораздо лучше выглядит и понимается, чем формулы на слайдах, я тоже так на своих лекциях постоянно делаю.
Но было нелегко! Думаю, я ещё и сам буду запись пересматривать.) Чего и вам желаю.
#markovlab #seminar #spsu
🔥18❤9👍1
Продолжу сегодня не про AI, уж извините. Мои попытки играть на пианино потихонечку куда-то движутся, и вот на вчерашнем джеме наконец-то сыграл более-менее, по крайней мере не сбился ни разу.
Так что решусь показать:
Jamschool — 2026.03.27 — Waltz Limp
Даже преподаватель мой сказал, что первые четыре страницы я сыграл хорошо.) Дальше, конечно, пошла аккордовая техника, с которой проблемы. И ни в коем случае не пытайтесь найти оригинал Брубека, там вообще жесть, которую я никогда в жизни не сыграю.) Но я и не претендую; а так вроде прогресс какой-то есть, и это хорошо.
#music #lifestyle
Так что решусь показать:
Jamschool — 2026.03.27 — Waltz Limp
Даже преподаватель мой сказал, что первые четыре страницы я сыграл хорошо.) Дальше, конечно, пошла аккордовая техника, с которой проблемы. И ни в коем случае не пытайтесь найти оригинал Брубека, там вообще жесть, которую я никогда в жизни не сыграю.) Но я и не претендую; а так вроде прогресс какой-то есть, и это хорошо.
#music #lifestyle
🔥22❤16👍8🥱1🐳1
А вот и второй мой доклад из Сириуса двухнедельной давности:
AI Safety в начале 2026 года
(слайды на странице "Выступления")
Про AI safety тоже, конечно, одно удовольствие рассказывать: с пессимистической стороны это несомненно важнейшее, что происходит сейчас с человечеством, а с оптимистической — набор крутых сюжетов, которые всегда вызывают живую реакцию аудитории.
Тем более что, как я уже писал, школьники в Сириусе были замечательные, всё понимали и нервно смеялись в нужных местах. А мест таких всё больше: вот в этот раз, например, я закончил примером январской новости от OpenAI, которые ничтоже сумняшеся... подключили GPT-5 самостоятельно управлять полностью автоматизированной биолабораторией. На 40% быстрее новые белки разрабатывались, говорят, ага.
#talks #events #lectures
AI Safety в начале 2026 года
(слайды на странице "Выступления")
Про AI safety тоже, конечно, одно удовольствие рассказывать: с пессимистической стороны это несомненно важнейшее, что происходит сейчас с человечеством, а с оптимистической — набор крутых сюжетов, которые всегда вызывают живую реакцию аудитории.
Тем более что, как я уже писал, школьники в Сириусе были замечательные, всё понимали и нервно смеялись в нужных местах. А мест таких всё больше: вот в этот раз, например, я закончил примером январской новости от OpenAI, которые ничтоже сумняшеся... подключили GPT-5 самостоятельно управлять полностью автоматизированной биолабораторией. На 40% быстрее новые белки разрабатывались, говорят, ага.
#talks #events #lectures
❤12👍3
Следующий доклад на семинаре лаборатории Маркова будет опять удалённый, но на этот раз из Москвы. Это, кстати, ещё один хороший источник докладчиков на семинарах — я сейчас у Дмитрия в комитете по защите диссертации, так что вот заодно позвал его о своей диссертации рассказать у нас. Язык анонса сегодня особенно шершав, потому что это буквально абстракт диссертации:
Устойчивость моделей глубокого обучения
Ссылка на трансляцию (пятница 3 апреля, 14:00)
Дмитрий Корж (Сколковский институт науки и технологий)
В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.
Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.
Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.
#markovlab #seminar #spsu
Устойчивость моделей глубокого обучения
Ссылка на трансляцию (пятница 3 апреля, 14:00)
Дмитрий Корж (Сколковский институт науки и технологий)
В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.
Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.
Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.
#markovlab #seminar #spsu
❤9✍7👍1