AvatarGO: Zero-shot 4D Human-Object Interaction Generation and Animation

Создание анимируемых 4D-сцен взаимодействия человека с объектом (HOI) непосредственно на основе текстовых данных

Код

#HOI #textto3d #textto4d

HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation

Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты

Код

#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d

4Real-Video-V2: Fused View-Time Attention and Feedforward Reconstruction for 4D Scene Generation

SOTA в генерации и реконструкция видео в 4D от Snap и KAUST, в списке авторов русские фамилии.

Может как воссоздать сцену по мультиракурсному видео, так и сгенерировать по тексту

Показывает изменения сцены во времени и пространстве, как если бы это было живое 4D изображение.

Под капотом гауссианы и еще что-то

Кода нет, ждем в снэпчате?

#4D #textto4d #videoto4D #gaussian #novelview #rendering #research

Latent-to-4D

Генерация динамических 4D-сцен из текста и картинок без промежуточного RGB-декодинга. Вместо RGB-декодинга берет финальный латент видео-DiT и поднимает его сразу в явную 4D-сцену

На выходе камеры и динамические карты точек в мировых координатах.

• Text-to-4D - сцена из текста, 81 кадр с камерами и динамической геометрией
• Image-to-4D - первый кадр задаёт внешний вид и композицию
• Audio-driven 4D - аудио управляет лицом, телом и камерой
• Video-as-prompt 4D - перенос стиля/трансформации из демо-видео
• Pose-controlled и motion-controlled анимация - скелет или траектории точек ведут движение
• 4D-симуляция для робоманипуляций

Гитхаб ждем

#textto4d #imageto4d #4d