4D Gaussian Splatting for Real-Time Dynamic Scene Rendering

Вы должны это срочно увидеть!
У HyperReel появился конкурент и какой.
Гауссианы + временная составляющая = рендеринг динамической сцены с заданного ракурса. Мне пока непонятно сколько входных ракурсов надо чтобы это работало. Известно что тестировали на синетитических данных и датасетах реальных видео, снятых одновременно на от 1 до 15 камер. Видимо, как-то должно работать и на входном видео с одной камеры.

Короче, они описали гауссианами не только форму, но и движение и деформацию. При этом рендеринг в реальном времени, 70 кадров в секунду при разрешении 800 * 800 на RTX 3090, качество не ниже чем у конкурентов.

Код
Колаб

#novelveiw #rendering #stabilization #video2video #video2scene

BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis

Рендеринг в реальном времени управляемых аватаров с 4D-головой (на основе видео) на различных устройствах, включая мобильные.

Код

#talkinghead #facialanimation #humanavatar #realtime #novelveiw

3DGStream: On-the-Fly Training of 3D Gaussians for Efficient Streaming of Photo-Realistic Free-Viewpoint Videos

На входе мультикамерное видео, на выходе - видео с любого ракурса. Конкурент HyperReel и 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering в создании Free-Viewpoint Videos (FVV)

Обучается (для одного кадра?...) за 12 секунд. Рендерит 200 кадров в секунду

Код ожидается в июне 2024, но это неточно

#novelveiw #rendering #stabilization #video2video #video2scene #FVV

FreeTimeGS: Free Gaussian Primitives at Anytime Anywhere for Dynamic Scene Reconstruction

Реконструкция объемных динамических сцен по видео, на гауссианах

Еще один проект без кода, зато можно интерактивно покрутить сцены (поддерживает VR гарнитуры)

#novelveiw #rendering #gaussian #video2gaussian #videoto4D #4D