Pixel3DMM: Versatile Screen-Space Priors for Single-Image 3D Face Reconstruction

Создание 3D-модели лица по одной фотографии. Модель анализирует изображение и предсказывает геометрические характеристики для каждой точки изображения, что позволяет точно реконструировать форму лица в трёх измерениях.

Но выходе можно получить:

- нормали

- uv-координаты

- 2D-вершины (точки на плоскости, которые помогают в реконструкции геометрии лица)

- параметры 3D морфабельной модели лица (3DMM), которые описывают форму и особенности лица в трёх измерениях

Код

#imageto3d #head #image2normal #image2uv #uv

CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models

Создание анимируемых портретных 4D-аватаров. Модель способна генерировать реалистичные 4D-аватары на основе любого количества эталонных изображений

Рендерится в реальном времени

На первом этапе создает много изображений с разных ракурсов при помощи SD 2.1. Далее собирает собственно 4D модель.

Под капотом 3D трекер лица FlowFace (код ждем), FLAME для выражений лица, GaussianAvatars для деформируемой головы на гауссианах

Аватар можно редактировать внешними средствами - упомянуты Stable-Makeup и IC-Light

Плюс ко всему, аватар может управляться звуком речи

Код - FlowFace работает в демо-режиме, только с лицами из демо-набора

#humanavatar #gaussian #head #portraitanimation #tracking #pose

CaricatureGS: Exaggerating 3D Gaussian Splatting Faces With Gaussian Curvature

Объемные карикатуры на гауссианах в реальном времени по входному видео с диапазоном ракурсов

Модель преувеличивает черты лица, сохраняя при этом узнаваемость человека, степень преувеличения можно регулировать

Код ждем

#head #gaussian #stylization #video2head

AGORA

Проект над которым работал наш подписчик @ramazan2k

Генерация анимируемых 3D аватаров голов на 3DGS, работает в реальном времени прямо на телефоне (60 FPS), обучается только на обычных 2D фотках без видео и multi-view.

Гитхаб - Код ждем до конца мая после ревью

#avatar #head #gaussian #portrainanimation #image2avatar

MATCH: Feed-forward Gaussian Registration for Head Avatar Creation and Editing

Создание и редактирование аватаров голов на гауссианах с помощью мультивидовых изображений. Работа с участие Гугла

Создаёт аватары за 0,5 секунды на кадр

Позволяет редактировать аватары, переносить выражения лица, делать интерполяцию образов, то есть создание промежуточных образов между разными людьми.

Гитхаб ждем

#avatar #head #gaussian #portrainanimation #image2avatar

AvatarPointillist

Проект от HKUST, создание динамических фотореалистичных и управляемых 4D-аватаров на гауссианах из одного портретного изображения

Предсказывает информацию о привязке для анимации

Преобразует точки в рендерные атрибуты с помощью Gaussian декодера

Гитхаб ждем

#avatar #head #gaussian #portrainanimation #image2avatar

FlexAvatar

Создаёт реалистичные 3D‑аватары головы по одному фото и анимирует их

• контроль выражения лица и ракурса
• работает с одно‑ и многокамерными данными
• обеспечивает полноту 3D‑модели за счёт мультивидовых данных при обучении
• интерполирует идентичность под любое количество входных данных

Код ждем

Спасибо @m_franz

#head #humanavatar #image2avatar #portrainanimation

CompHairHead: One-shot Compositional 3D Head Avatars with Deformable Hair

3D-аватар головы с динамическими волосами по одной фотографии, рилтайм

Гитхаб ждем

#head #avatar #hair #portraitanimation #realtime

SHELLS: Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling

Реконструкция 3D‑головы с текстурами от Google по нескольким видам. Держит топологию, избегает артефактов

Сразу пригодная для анимации топология

Точность до субмиллиметровых деталей.

Жрет 2.4 GB VRAM. Но это VRAM у кого надо VRAM. Кода-весов нет

на базе GNM

#head #HMR #imageto3d #photogrammetry