Human3R: Everyone Everywhere All at Once
Реконструкция 4D человеческих фигур и сцены из монокулярных видео, в том числе по потоковому видео в реальном времени!

— может восстанавливать несколько тел SMPL-X (многопользовательский режим) в одном проходе

— создаёт плотную 3D-модель сцены

— вычисляет траектории камеры

— работает в режиме реального времени (15 кадров в секунду)

— требует мало памяти (8 ГБ) - видимо речь о VRAM

— оценивает глобальное движение человека, восстанавливает локальную сетку тела, оценивает глубину видео и определяет положение камеры с помощью единой модели

— обучена на относительно небольшом синтетическом наборе данных BEDLAM всего за один день на одном GPU

Код
Интерактивный вьюер

#HMR #HSR #HPR #video2scene #videoto4d #4D #video2pose #humanreconstruction #videoto3d