Опубликован код и веса MoVieS - генератора динамических 4D видео из обычных видео

Код
HF

Спасибо @Dmitriy_Ru6ts0v

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d

ArtHOI

Реконструкция артикулированных взаимодействий человека с объектами из монокулярного видео без дообучения

4D-реконструкция из моно-видео-приоров без 3D-супервизии.

Сегментация частей объектов + двухэтапная оптимизация: сначала артикуляция объекта, потом синтез человеческого движения

Решает неоднозначность восстановления 3D из одного вида, обеспечивает движения без коллизий: руки не проваливаются в дверцу холодильника, тело не пересекает шкаф

Гитхаб

#4D #HOI #videoto4d #hsr #hpr

Нейронавт в MAX 📲

RetimeGS

4D реконструкция видеосцен на гауссианах с ретаймингом - то есть, воссоздает сцену в любой момент времени между кадрами. При сильном движении это обычно приводит к артефактам - вот с этим и боролись.

Работа HKUST и Netflix

в ДНК-датасете применялись 60 камер с разрешением 4K/2K, а в самостоятельно собранных данных — 32 синхронных 4K-камеры

Обещают опубликовать данные. По поводу кода / весов неясно, но ваше домашнее железо не потянет такое. Зато нетфликс сможет более лучше использовать объемные реконструкции в кино

#4d #videoto4d #gaussian #research

Нейронавт в MAX

Any4D

4D-реконструкция динамических сцен из RGB-видео.

— делает плотную и точную оценку движения

— работает с разными модальностями и датчиками: RGB-D кадрами, данными IMU и измерениями радара

— использует модульное представление 4D-сцены

Гитхаб
HF
Демо

#videoto4d #4D #video2scene

Face Anything

Реконструкция 4D-лиц (движущихся) из видео.

В одной архитектуре предсказание глубины и канонических координат лица


Для обработки изображений и создания плотной геометрии использует трансформер

Гитхаб ждем

#4d #videoto4d #head

Adaptive Spatio-Temporal 3D Gaussian Splatting for Scenes with Oscillatory Motion

Метод рендеринга динамических сцен с колебательными движениями на гауссианах

• обрабатывает сцены с колебательным движением (трава, флаги, вода)
• динамически корректирует параметры гауссиан во времени и пространстве
• сохраняет детализацию при движении объектов
• снижает артефакты в динамических сценах
• оптимизирует плотность гауссиан под динамику сцены

работает в реальном времени, на PyTorch

Гитхаб

#gaussian #4d

Таймлапс в 4D на гауссианах

Технологией создания автор не поделился

#4d #timelapse

Lift4D

4D‑реконструкция динамичных объектов из монокулярного видео. Восстанавливает геометрию, движение и внешний вид при сильных деформациях и перекрытиях

Опирается на деформируемые гауссианы как базовое представление.

Качество зависит от качества начальной 3D‑оценки

Гитхаб ждем

#4d #video2scene #gaussian #videoto4d

StudioRecon

Реконструкция 4D-сцены с людьми по 4 камерам с малым перекрытием. Разделяя фон и людей, убирает артефакты в слабо наблюдаемых зонах.

Работает на скудных данных, дает стабильный рендер с произвольных ракурсов.

• видео-диффузия насыщает фон новыми видами
• SMPL фиксирует геометрию людей
• рекурсивный модуль выравнивает движение и стыки

Код / веса ждем

#videoto4d #gaussian #4d #video2scene #hmr

RiGS (Rigid-aware 4D Gaussian Splatting)

Наконец инструмент, который создаёт динамическую 4D сцену на гауссианах из обычного монокулярного видео

В основе модификация VIPE для данных глубины. Синтетические виды помогают строить объём

• учитывает жесткие объекты и их движения
• нужен GPU уровня A100
• обработка ~30 минут

Проект в активной фазе, тестируют на RTX 4090

#video2gaussian #scenereconstruction #4d #videoto4d

Chronosplat

4DGS-плеер анимированных гауссиан

Есть конвертация PLY в SOG, экспорт в HD

Гитхаб
Демо

#gaussian #4d #vier

Опубликован код 4D‑реконструктора динамичных объектов из монокулярного видео Lift4D

Протестировано на a100

Гитхаб

Спасибо @Dmitriy_Ru6ts0v

#4d #video2scene #videoto4d

Splatlight

Плагин для работы с гауссианами в Blender. Добавляет реалистичные тени без внешних инструментов.

Совместим с Cycles и Eevee

В бесплатной версии релайтинг и экспорт

В платной ($35) - редактирование, 4D-воспроизведение, запекание света, Surface Paint, прокси-риггинг и анимация, а также генераторы.

gumroad
Superhive

#gaussian #relighting #blender #plugin #4d

MultiSplat

Бесплатный инструмент для сборки гауссовых сцен из разных сессий съемки одной и той же локации - разная дата, погода и т д

• выравнивание облаков точек и сцен
• визуальное сравнение результатов разных сплатов
• сборка 4D таймлапсов
• экспорт

#gaussian #4d

Latent-to-4D

Генерация динамических 4D-сцен из текста и картинок без промежуточного RGB-декодинга. Вместо RGB-декодинга берет финальный латент видео-DiT и поднимает его сразу в явную 4D-сцену

На выходе камеры и динамические карты точек в мировых координатах.

• Text-to-4D - сцена из текста, 81 кадр с камерами и динамической геометрией
• Image-to-4D - первый кадр задаёт внешний вид и композицию
• Audio-driven 4D - аудио управляет лицом, телом и камерой
• Video-as-prompt 4D - перенос стиля/трансформации из демо-видео
• Pose-controlled и motion-controlled анимация - скелет или траектории точек ведут движение
• 4D-симуляция для робоманипуляций

Гитхаб ждем

#textto4d #imageto4d #4d

4DAnyone

Создает 4D-модель человека в движении по монокулярному видео. Без рига, калибровки и штатива. Генерирует ракурсы, которых не сняла камера, и собирает их в 4D гауссианы

- Работает на живых кадрах без калибровки камеры: танцы, спорт, сцена, речь, мода
- Reference Context Packing сжимает растущий референсный контекст в фиксированный бюджет
- Target Context Routing обменивается информацией между группами ракурсов — нет структурного дрейфа
- Скелетная 3D-условие вместо хрупких depth-карт — устойчивая геометрия

В основе Wan2.2 VAE + umt5-xxl энкодер, детекция через YOLO/ViTPose/GVHMR

Работает с FlashAttention-3 или SageAttention

Гитхаб

#4d #gaussian #videoto4d #HMR

VK | MAX