NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos

Реконструкция 4D миров на гауссианах из моно видео

— генерирует видео с новыми ракурсами и движениями камеры

— помогает в 3D-трекинге, стабилизации видео, его редактировании и улучшении разрешения

— может делать аутпейнтинг — расширять видимую область сцены

Гитхаб код ждем

#video2world #novelview #cameracontrol #videoto4d #gaussian #video2scene

AdaGaR: Adaptive Gabor Representation for Dynamic Scene Reconstruction

Еще один реконструктор динамических 3D-сцен (4D сцен, получется) из монокулярных видео. Захватывает детали внешнего вида и одновременно обеспечивает плавное движение

Модель использует адаптивное представление Габора — это что-то среднее между гауссианами и габор-функциями, что позволяет балансировать между детализацией и стабильностью изображения

Код ждем

#rendering #video2scene #videoto4d #gaussian #novelview

V-DPM: 4D Video Reconstruction with Dynamic Point Maps

4D-реконструкция динамических сцен по видео с помощью динамических точечных карт (DPM)

Гитхаб
Демо

#videoto4d #4d #scenereconstruction

D4RT

День 4D реконструкций на Нейронавте продолжает Гугл с работой без кода.

D4RT превращает видео в 4D-реконструкцию, отслеживая движение объектов

Чем D4RT отличается от других моделей:

— работает быстрее аналогов — в 18–300 раз

— обрабатывает видео в реальном времени

— может отслеживать точки и предсказывать их траекторию в 3D, даже если объект исчезает из кадра

— создаёт полную 3D-структуру сцены без дополнительных шагов

— определяет положение камеры и её траекторию

— хорошо справляется с динамичными сценами и сложными движениями

#videoto3d #videoto4d #3d #4d #video2scene #tracking #research

Опубликован код и веса MoVieS - генератора динамических 4D видео из обычных видео

Код
HF

Спасибо @Dmitriy_Ru6ts0v

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d

ArtHOI

Реконструкция артикулированных взаимодействий человека с объектами из монокулярного видео без дообучения

4D-реконструкция из моно-видео-приоров без 3D-супервизии.

Сегментация частей объектов + двухэтапная оптимизация: сначала артикуляция объекта, потом синтез человеческого движения

Решает неоднозначность восстановления 3D из одного вида, обеспечивает движения без коллизий: руки не проваливаются в дверцу холодильника, тело не пересекает шкаф

Гитхаб

#4D #HOI #videoto4d #hsr #hpr

Нейронавт в MAX 📲

RetimeGS

4D реконструкция видеосцен на гауссианах с ретаймингом - то есть, воссоздает сцену в любой момент времени между кадрами. При сильном движении это обычно приводит к артефактам - вот с этим и боролись.

Работа HKUST и Netflix

в ДНК-датасете применялись 60 камер с разрешением 4K/2K, а в самостоятельно собранных данных — 32 синхронных 4K-камеры

Обещают опубликовать данные. По поводу кода / весов неясно, но ваше домашнее железо не потянет такое. Зато нетфликс сможет более лучше использовать объемные реконструкции в кино

#4d #videoto4d #gaussian #research

Нейронавт в MAX

Any4D

4D-реконструкция динамических сцен из RGB-видео.

— делает плотную и точную оценку движения

— работает с разными модальностями и датчиками: RGB-D кадрами, данными IMU и измерениями радара

— использует модульное представление 4D-сцены

Гитхаб
HF
Демо

#videoto4d #4D #video2scene

Face Anything

Реконструкция 4D-лиц (движущихся) из видео.

В одной архитектуре предсказание глубины и канонических координат лица


Для обработки изображений и создания плотной геометрии использует трансформер

Гитхаб ждем

#4d #videoto4d #head

Lift4D

4D‑реконструкция динамичных объектов из монокулярного видео. Восстанавливает геометрию, движение и внешний вид при сильных деформациях и перекрытиях

Опирается на деформируемые гауссианы как базовое представление.

Качество зависит от качества начальной 3D‑оценки

Гитхаб ждем

#4d #video2scene #gaussian #videoto4d

StudioRecon

Реконструкция 4D-сцены с людьми по 4 камерам с малым перекрытием. Разделяя фон и людей, убирает артефакты в слабо наблюдаемых зонах.

Работает на скудных данных, дает стабильный рендер с произвольных ракурсов.

• видео-диффузия насыщает фон новыми видами
• SMPL фиксирует геометрию людей
• рекурсивный модуль выравнивает движение и стыки

Код / веса ждем

#videoto4d #gaussian #4d #video2scene #hmr

RiGS (Rigid-aware 4D Gaussian Splatting)

Наконец инструмент, который создаёт динамическую 4D сцену на гауссианах из обычного монокулярного видео

В основе модификация VIPE для данных глубины. Синтетические виды помогают строить объём

• учитывает жесткие объекты и их движения
• нужен GPU уровня A100
• обработка ~30 минут

Проект в активной фазе, тестируют на RTX 4090

#video2gaussian #scenereconstruction #4d #videoto4d

Опубликован код 4D‑реконструктора динамичных объектов из монокулярного видео Lift4D

Протестировано на a100

Гитхаб

Спасибо @Dmitriy_Ru6ts0v

#4d #video2scene #videoto4d

4DAnyone

Создает 4D-модель человека в движении по монокулярному видео. Без рига, калибровки и штатива. Генерирует ракурсы, которых не сняла камера, и собирает их в 4D гауссианы

- Работает на живых кадрах без калибровки камеры: танцы, спорт, сцена, речь, мода
- Reference Context Packing сжимает растущий референсный контекст в фиксированный бюджет
- Target Context Routing обменивается информацией между группами ракурсов — нет структурного дрейфа
- Скелетная 3D-условие вместо хрупких depth-карт — устойчивая геометрия

В основе Wan2.2 VAE + umt5-xxl энкодер, детекция через YOLO/ViTPose/GVHMR

Работает с FlashAttention-3 или SageAttention

Гитхаб

#4d #gaussian #videoto4d #HMR

VK | MAX