MemFace. Memories are One-to-Many Mapping Alleviators in Talking Face Generation

Новый проект от Microsoft, реалистичная генерация говорящего аватара по входным аудиодорожкам. MemFace обеспечивает наилучшее качество с большим отрывом.

Видео
Кода нет
#deepfake #audio2video #facialanimation #videoavatar

Это уже видели?
3D Avatar Diffusion

Майкрософт выпустил диффузионную модель, которая способна построить 3D аватар по одной фотографии человека.

На вход одно фото (!) и текстовое описание. А на выходе модель дает NeRF и геометрию. Архитектура очень занятная, и позовляет еще и редактировать как аватар будет выглядеть с помощью изменения текстового промта.

Кодом не поделились
#imageto3D
#3Davatar #image2video #facialanimation #videoavatar #3Davatar

Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition

Создает 3D-аватар человека (меш, 3D-модель, карта нормалей) по одному видео. В процессе используется nerf. Далее Vid2Avatar может анимировать полученный аватар.
Судя по презентации, Vid2Avatar дает результаты заметно лучше чем ICON и прочие конкуренты.

Код обещают позже.

#imageto3D #videoto3D #videoavatar #humananimation

Помните проект ICON?

Довольно давно уже авторы на замену ему сотворили ECON - следующий шаг эволюции в восстановлении 3D модели человека по одному изображению.
Ну круто, и что?

А то что уже есть плагин для Блендера
Держите туториал
Надеюсь, поделитесь результатами

Код
Демо на hf

#imageto3D #videoavatar #image2avatar #image2pose

GeneFace++

Лицевая анимация на основе аудиозаписи.
Кода пока нет

#facialanimation #talkinghead #videoavatar #audio2animation #audio2video #speech2animation

HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion

Synthesia показала #nerf отменного качества, специализирующегося на человеках. И не просто на человеках, а на человеках в движении!
Насколько помню, это первый nerf способный захватить и рендерить что-то меняющееся во времени.

Обучали модель на видео снятом с нескольких ракурсов. После этого можно HumanRF способен показать вам выученного человека с новых ракурсов, которых не было на входе. Впрочем, звучит как обычная видеограмметрия. Но посмотрите на качество (по ссылке выше).

Выходное разрешение 12 мегапикселей (!), это 4K

Код обещают позже

#humanavatar #videoavatar #humananimation

Control4D: Dynamic Portrait Editing by Learning 4D GAN from 2D Diffusion-based Editor

И снова редактор/стилизатор видеоперсонажей по текстовому запросу. На сей раз на основе #GAN. Но это не просто GAN, а GAN, в который завернута и временная составляющая, то есть все видео представлено одним вектором. Благодаря этому разработчики избавились от присущих видеостилизациям артефактов

Ссылка на код пока ведет только на сайт проекта

#video2video #videoavatar #face2face #talkinghead

Human-LRM: Single-View 3D Human Digitalization with Large Reconstruction Models

#Nerf-реконструкция человека в 3D по одному изображению за 5 секунд. Связность на видео.

Как думаете, куда Adobe прикрутит эту штуку?

#imageto3D #videoavatar #image2avatar #image2nerf #video2nerf #novelview #rendering