Human3R: Everyone Everywhere All at Once
Реконструкция 4D человеческих фигур и сцены из монокулярных видео, в том числе по потоковому видео в реальном времени!
— может восстанавливать несколько тел SMPL-X (многопользовательский режим) в одном проходе
— создаёт плотную 3D-модель сцены
— вычисляет траектории камеры
— работает в режиме реального времени (15 кадров в секунду)
— требует мало памяти (8 ГБ) - видимо речь о VRAM
— оценивает глобальное движение человека, восстанавливает локальную сетку тела, оценивает глубину видео и определяет положение камеры с помощью единой модели
— обучена на относительно небольшом синтетическом наборе данных BEDLAM всего за один день на одном GPU
Код
Интерактивный вьюер
#HMR #HSR #HPR #video2scene #videoto4d #4D #video2pose #humanreconstruction #videoto3d
Реконструкция 4D человеческих фигур и сцены из монокулярных видео, в том числе по потоковому видео в реальном времени!
— может восстанавливать несколько тел SMPL-X (многопользовательский режим) в одном проходе
— создаёт плотную 3D-модель сцены
— вычисляет траектории камеры
— работает в режиме реального времени (15 кадров в секунду)
— требует мало памяти (8 ГБ) - видимо речь о VRAM
— оценивает глобальное движение человека, восстанавливает локальную сетку тела, оценивает глубину видео и определяет положение камеры с помощью единой модели
— обучена на относительно небольшом синтетическом наборе данных BEDLAM всего за один день на одном GPU
Код
Интерактивный вьюер
#HMR #HSR #HPR #video2scene #videoto4d #4D #video2pose #humanreconstruction #videoto3d
🔥10
This media is not supported in your browser
VIEW IN TELEGRAM
MoRo: The official Pytorch code for MoRo: Masked Modeling for Human Motion Recovery Under Occlusions
Реконструкция движения человека по монокулярному видео, даже если человек частично скрыт из виду. Камера должна быть статичной.
Работает в реальном времени со скоростью 70 кадров в секунду на одном GPU H200
Гитхаб
#humanreconstruction #hpr #videoto3d #video2pose
Реконструкция движения человека по монокулярному видео, даже если человек частично скрыт из виду. Камера должна быть статичной.
Работает в реальном времени со скоростью 70 кадров в секунду на одном GPU H200
Гитхаб
#humanreconstruction #hpr #videoto3d #video2pose
🔥6👍2
This media is not supported in your browser
VIEW IN TELEGRAM
BBoxMaskPose: Detection, Pose Estimation and Segmentation for Multiple Bodies: Closing the Virtuous Circle
Обнаружение, сегментация и оценка поз для изображений с большим количеством людей
Гитхаб
Демо
#detection #segmentation #image2pose #HPR
Обнаружение, сегментация и оценка поз для изображений с большим количеством людей
Гитхаб
Демо
#detection #segmentation #image2pose #HPR
👍10😁1😱1
Media is too big
VIEW IN TELEGRAM
ArtHOI
Реконструкция артикулированных взаимодействий человека с объектами из монокулярного видео без дообучения
4D-реконструкция из моно-видео-приоров без 3D-супервизии.
Сегментация частей объектов + двухэтапная оптимизация: сначала артикуляция объекта, потом синтез человеческого движения
Решает неоднозначность восстановления 3D из одного вида, обеспечивает движения без коллизий: руки не проваливаются в дверцу холодильника, тело не пересекает шкаф
Гитхаб
#4D #HOI #videoto4d #hsr #hpr
Нейронавт в MAX 📲
Реконструкция артикулированных взаимодействий человека с объектами из монокулярного видео без дообучения
4D-реконструкция из моно-видео-приоров без 3D-супервизии.
Сегментация частей объектов + двухэтапная оптимизация: сначала артикуляция объекта, потом синтез человеческого движения
Решает неоднозначность восстановления 3D из одного вида, обеспечивает движения без коллизий: руки не проваливаются в дверцу холодильника, тело не пересекает шкаф
Гитхаб
#4D #HOI #videoto4d #hsr #hpr
Нейронавт в MAX 📲
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
MultiGO++
3D реконструкция человека в одежде по одной фотографии от китайцев
Решает проблемы текстур (нет данных), геометрии (плохие priors) и системной предвзятости (одна модальность)
Bзвлекает геометрию с помощью модуля, который учитывает особенности разных частей тела
Улучшает качество 3D-сетки и эффективность извлечения данных с помощью гауссова ремешинга
Кода нет
#humanreconstruction #imageto3d #HMR #HPR
Нейронавт в MAX 📲
3D реконструкция человека в одежде по одной фотографии от китайцев
Решает проблемы текстур (нет данных), геометрии (плохие priors) и системной предвзятости (одна модальность)
Bзвлекает геометрию с помощью модуля, который учитывает особенности разных частей тела
Улучшает качество 3D-сетки и эффективность извлечения данных с помощью гауссова ремешинга
Кода нет
#humanreconstruction #imageto3d #HMR #HPR
Нейронавт в MAX 📲
👍2🔥2