VASA-1: Прорыв в генерации реалистичных видео с виртуальными персонажами

Исследователи из Microsoft Research Asia представили новый фреймворк VASA-1 для генерации реалистичных говорящих лиц виртуальных персонажей на основе одного статического изображения и аудиозаписи речи.
Ключевые особенности VASA-1:
- Точная синхронизация движений губ с аудио
- Реалистичная мимика лица, отражающая широкий спектр эмоций и нюансов
- Естественные движения головы
- Генерация видео высокого качества (512x512) в режиме реального времени (до 40 кадров/с) с минимальной задержкой
Основные инновации включают целостную модель генерации динамики лица и движений головы в скрытом пространстве, а также разработку такого выразительного скрытого пространства с помощью обучения на видео.
Метод значительно превосходит предыдущие подходы по различным показателям и позволяет управлять направлением взгляда, расстоянием до головы и эмоциональной окраской.
VASA-1 демонстрирует хорошую работу на данных, выходящих за рамки обучающей выборки (художественные фото, пение, речь на других языках).
Разделение скрытого представления на внешность, 3D позу головы и динамику лица дает возможность раздельно редактировать эти атрибуты в сгенерированном видео.

#VASA1 #VirtualAvatars #VideoGeneration