This media is not supported in your browser
VIEW IN TELEGRAM
Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency
Создает 4D-сцены на гауссианах из одного изображения, управляемый рендер в реальном времени.
Код
#image2gaussian #image2video #imageto4d #gaussian #nivelview #realtime #4d
Создает 4D-сцены на гауссианах из одного изображения, управляемый рендер в реальном времени.
Код
#image2gaussian #image2video #imageto4d #gaussian #nivelview #realtime #4d
🔥7
Media is too big
VIEW IN TELEGRAM
TesserAct: Learning 4D Embodied World Models
Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.
За глубину отвечает Marigold, обещают прикрутить NormalCrafter
Код
Веса
#imageto4d #4d #image2video #image2scene #image2normal #image2depth
Модель предсказывает развитие событий в 3D сцене по входному изображению и текстовому промпту, описывающему действие. На выходе видео RGB + глубина и нормали.
За глубину отвечает Marigold, обещают прикрутить NormalCrafter
Код
Веса
#imageto4d #4d #image2video #image2scene #image2normal #image2depth
🔥6❤2
Media is too big
VIEW IN TELEGRAM
HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation
Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты
Код
#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d
Генерирует панорамные динамичные видео по тексту или по картинке, реконструируя 4D ассеты
Код
#image2scene #text2video #image2video #360 #panorama #4d #textto4d #imageto4d
👍6😱3
Media is too big
VIEW IN TELEGRAM
4D-LRM: Large Space-Time Reconstruction Model From and To Any View at Any Time
И тут же подобная работа от Adobe С КОДОМ‼️
Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.
Объединяет пространство и время, представляя объект как облако 4D гауссиан
Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100
Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)
Код должен быть, проверить не могу
#4D #videoto4D #gaussian #novelview #rendering #imageto4d
И тут же подобная работа от Adobe С КОДОМ‼️
Модель способна принимать на вход ограниченное количество изображений объекта с разных ракурсов и моментов времени и создавать из них новые комбинации ракурсов и моментов времени.
Объединяет пространство и время, представляя объект как облако 4D гауссиан
Обрабатывает 24 кадра за менее чем 1,5 секунды на одном GPU A100
Но разрешение, похоже, всего 256 x 256 (а, вот почему с кодом)
Код должен быть, проверить не могу
#4D #videoto4D #gaussian #novelview #rendering #imageto4d
👍3🤯2
4DNeX: Feed-Forward 4D Generative Modeling Made Easy
Генератор 4D-сцен (динамические 3D-сцены) из одного изображения или видео. Позволяет смотреть на изображение или видео с новых ракурсов/
Под капотом затюненный диффузный видеогенератор
Работает с единым 6D-представлением видео - для каждой RGB точки известны ее XYZ координаты
Код ждем
#4d #imageto4d #videoto4d #image2depth #video2depth
Генератор 4D-сцен (динамические 3D-сцены) из одного изображения или видео. Позволяет смотреть на изображение или видео с новых ракурсов/
Под капотом затюненный диффузный видеогенератор
Работает с единым 6D-представлением видео - для каждой RGB точки известны ее XYZ координаты
Код ждем
#4d #imageto4d #videoto4d #image2depth #video2depth
👍6❤2👎2
gallery-vgm.webm
4.7 MB
GeoDiff4D: Geometry-Aware Diffusion for 4D Head Avatar Reconstruction
Реконструкция и 4D-аватар головы от ByteDance по одному фото на базе X-NeMo и CAP4D
Использует диффузионную модель и учитывает геометрию
Выдает не только видео, но и нормали
Даёшь референсное изображение - получаешь аватар которым можно управлять: менять выражение лица, поворот головы. Работает и с реальными людьми, и с мультяшными персонажами.
Код ждем
#head #avatar #imageto4d #4d #portraitanimation #normal
Реконструкция и 4D-аватар головы от ByteDance по одному фото на базе X-NeMo и CAP4D
Использует диффузионную модель и учитывает геометрию
Выдает не только видео, но и нормали
Даёшь референсное изображение - получаешь аватар которым можно управлять: менять выражение лица, поворот головы. Работает и с реальными людьми, и с мультяшными персонажами.
Код ждем
#head #avatar #imageto4d #4d #portraitanimation #normal
🔥3👍1
Latent-to-4D
Генерация динамических 4D-сцен из текста и картинок без промежуточного RGB-декодинга. Вместо RGB-декодинга берет финальный латент видео-DiT и поднимает его сразу в явную 4D-сцену
На выходе камеры и динамические карты точек в мировых координатах.
• Text-to-4D - сцена из текста, 81 кадр с камерами и динамической геометрией
• Image-to-4D - первый кадр задаёт внешний вид и композицию
• Audio-driven 4D - аудио управляет лицом, телом и камерой
• Video-as-prompt 4D - перенос стиля/трансформации из демо-видео
• Pose-controlled и motion-controlled анимация - скелет или траектории точек ведут движение
• 4D-симуляция для робоманипуляций
Гитхаб ждем
#textto4d #imageto4d #4d
Генерация динамических 4D-сцен из текста и картинок без промежуточного RGB-декодинга. Вместо RGB-декодинга берет финальный латент видео-DiT и поднимает его сразу в явную 4D-сцену
На выходе камеры и динамические карты точек в мировых координатах.
• Text-to-4D - сцена из текста, 81 кадр с камерами и динамической геометрией
• Image-to-4D - первый кадр задаёт внешний вид и композицию
• Audio-driven 4D - аудио управляет лицом, телом и камерой
• Video-as-prompt 4D - перенос стиля/трансформации из демо-видео
• Pose-controlled и motion-controlled анимация - скелет или траектории точек ведут движение
• 4D-симуляция для робоманипуляций
Гитхаб ждем
#textto4d #imageto4d #4d
👍7❤2