Dynamic Gaussian Mesh: Consistent Mesh Reconstruction from Monocular Videos

Реконструкция согласованных во времени 3D динамических объектов гауссианами по одному входному видеоракурсу

Код

#gaussian #videoto3d #video2gaussian

PortraitGen: Portrait Video Editing Empowered by Multimodal Generative Priors

PortraitGen преобразует 2D-портретное видео в 4D-гауссово поле.
Это позволяет выполнять мультимодальное (по тексту или по референсу) редактирование портрета за 30 минут. Плюс еще в комплекте релайтинг IC-Light'ом, контроль персоналии и контроль мимики.
Отредактированный 3D-портрет рендерится на 100 FPS

Код

#video2avatar #video2gaussian #humanavatar

VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment

Реконструкция 3D сцен по длинным видео.
Разбивает видео на фрагменты, чем еще отличается от 3DGS непонятно

Код ждем

#gaussian #videoto3d #video2gaussian

GSTAR: Gaussian Surface Tracking and Reconstruction

Реконструкция динамичных 3D сцен на гауссианах по видео, с фотореалистичным рендером и 3D-трекином

GSTAR адаптируется к изменениям топологии с помощью двух механизмов: последовательного отслеживания стабильных поверхностей (красные кружочки) и динамической генерации поверхности для вновь появляющейся геометрии (оранжевые кружочки).

Код ждем

#video2scene #video2gaussian #videoto3d #videoto4D #video2mesh #gaussian

Hybrid 3D-4D Gaussian Splatting for Fast Dynamic Scene Representation

Моделирование динамических сцен по видео, основано на гибриде 3D и 4D гауссиан

Быстрое обучение с сохранением качества.
Легко заменяет 4DGS в существующих пайплайнах

Код

#gaussian #video2gaussian #videoto4D #4D

FreeTimeGS: Free Gaussian Primitives at Anytime Anywhere for Dynamic Scene Reconstruction

Реконструкция объемных динамических сцен по видео, на гауссианах

Еще один проект без кода, зато можно интерактивно покрутить сцены (поддерживает VR гарнитуры)

#novelveiw #rendering #gaussian #video2gaussian #videoto4D #4D

HunyuanWorld-Mirror

В полку генераторов-реконструкторов объемных сцен от Hunyuan-Tencent прибыло.
Говорю так потому что его определили в одно семейство с генераторами 3D миров

Воссоздает 3D сцены по видео, в том числе сгенерированным, мультиракурсным наборам изображений, и по одному изображению

За один проход создает сразу облако точек, многовидовые карты глубины, параметры камеры, нормали поверхности, сцену на гауссианах.

Код
Демо - очень шустрое. Сделал тест по одной картинке. Лучше все-таки иметь несколько ракурсов
HF ~5 ГБ

#videoto3d #video2scene #gaussian #imageto3d #image2scene #video2gaussian #video2normal #video2depth #image2normal #image2depth

Закинул видео своего медведя на реконструкцию в HunyuanWorld-Mirror по 24 отобранным кадрам

Гауссова сцена далека от идеала, на меш интереснее смотреть. Надо увеличивать количество ракурсов.

Закину гауссианы и меш в комменты для интересующихся

#videoto3d #video2scene #gaussian #imageto3d #image2scene #video2gaussian #video2normal #video2depth #image2normal #image2depth

GUSH3R: Everyone Everywhere All at Once as Gaussians

Реконструкция движущихся людей вместе со сценой из монокулярного видео. Делает всё за один проход, сразу в гауссианы

Опирается на геометрические и человеческие априоры, SMPL-X для поз

• реконструкция людей и статичной сцены в одном проходе
• стабильная геометрия
• синтез новых ракурсов с фотореализмом
• высокая скорость против оптимизационных методов

Гитхаб
HF

#hmr #video2gaussian #videoto3d #gaussian