PV3D: A 3D Generative Model forPortrait Video Generation

Генерация видеопртрета по одному фото или по видео!
3D модель в комплекте.

- согласованность ракурсов
- детализированная динамической 3D-геометрия
- реконструкция по видео с одного ракурса
- анимация статичного портрета
- перенос движения с одного на другое лицо
- синтез разных лиц с заданным движением
- длинные видео

Впечатляет?

[UPDATE]
Код

#image2video #video2video #videoto3D #facialanimation #deepfake #videoavatar #3Davatar

GAN'ы, сдавшие за последний год позиции под натиском диффузии и nerf'ов, возвращаются.

3DAvatarGAN
Персонализированные 3D аватары с возможностью редактирования.
- стилизация в разных доменах
- анимация
- контроль выражения лица
- редактирование отдельных черт лица/волос

Код обещают позже

#image2avatar #talkinghead #imageto3D #facialanimation #3Davatar

X-Avatar: Expressive Human Avatars

Анимируемый аватар человека пригодный для использования в AR/VR и т. п.
На вход принимает 3D скан или RGB-D, то есть, видео с каналом глубины.
Анимацию на аватар можно перенести с другого видео.

Код (пока пусто)

#imageto3D #videoto3D #videoavatar #humananimation #3Davatar

Новость которую запостили все маркето-рекламо-каналы, но никто не дал ни ссылку, ни объяснение технологии. Так что, все это неточно.

В Бразилии продемонстрировал концертных цифровых аватаров.

Они повторяют движения за владельцем и отрисованы до мельчайших деталей.

#humanavatar #3Davatar

FaceLit: Neural 3D Relightable Faces
А вот и Apple подтянулась.

FaceLit генерирует 3D-лица из обычных фото. А в этих готовых 3D-портретах можно играться с освещением, меняя источник света.

Код

#relighting #image2face #imageto3D #image2avatar #3Davatar

StyleAvatar3D

А вот генератор аватаров по текстовому запросу. Скорость, морфинг через латентное пространство и прочие плюшки технологии #GAN

Код обещают выложить

#3DAvatar #talkinghead

EFFICIENT 3D ARTICULATED HUMAN GENERATION WITH LAYERED SURFACE VOLUMES

Новый подход к архитектуре цифровых аватаров на основе layered surface volumes (LSVs) - могу перевести это как слоеные объемы.
Первым делом генерируются текстуры персонажа в StyleGAN2. Их натягивают на отдельные слои меша. Все текстурированные слои деформируются вместе в соответствии с целевым распределением поз и растеризуются. После чего их подают в дискриминатор StyleGAN2, управляемый камерой и позой. Ну и плюс дополнительный распознаватель лиц, который на схеме не показали.

Кода нет
Демо нет

#humanavatar #humananimation #3Davatar