Reconstructing Humans with a Biomechanically Accurate Skeleton
Метод реконструкции человека в 3D по одному изображению с использованием биомеханически точной модели скелета (а не этого вашего плоского OpenPose)
Код
Колаб
Демо
#HMR #HSMR #humanrecontrustion #image2pose #image2mesh #imageto3d
Метод реконструкции человека в 3D по одному изображению с использованием биомеханически точной модели скелета (а не этого вашего плоского OpenPose)
Код
Колаб
Демо
#HMR #HSMR #humanrecontrustion #image2pose #image2mesh #imageto3d
👍10🔥8👎3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
PHD: Personalized 3D Human Body Fitting with Point Diffusion
Реконструкция позы и телесной формы человека по видео от запрещенной Meta
Код ждем наверно
#video2pose #humanreconstruction #video2mesh #HMR #poseestimation
Реконструкция позы и телесной формы человека по видео от запрещенной Meta
Код ждем наверно
#video2pose #humanreconstruction #video2mesh #HMR #poseestimation
👍6❤1
PromptHMR: Promptable Human Mesh Recovery
Реконструкция позы и формы человека (HPS) с пространственными, текстовыми или семантическими подсказками.
Хорошо справляется с взаимодействующими людьми.
Код
#HMR #HPS #video2pose #videoto3d #humanreconstruction
Реконструкция позы и формы человека (HPS) с пространственными, текстовыми или семантическими подсказками.
Хорошо справляется с взаимодействующими людьми.
Код
#HMR #HPS #video2pose #videoto3d #humanreconstruction
🔥11👍2
Human3R: Everyone Everywhere All at Once
Реконструкция 4D человеческих фигур и сцены из монокулярных видео, в том числе по потоковому видео в реальном времени!
— может восстанавливать несколько тел SMPL-X (многопользовательский режим) в одном проходе
— создаёт плотную 3D-модель сцены
— вычисляет траектории камеры
— работает в режиме реального времени (15 кадров в секунду)
— требует мало памяти (8 ГБ) - видимо речь о VRAM
— оценивает глобальное движение человека, восстанавливает локальную сетку тела, оценивает глубину видео и определяет положение камеры с помощью единой модели
— обучена на относительно небольшом синтетическом наборе данных BEDLAM всего за один день на одном GPU
Код
Интерактивный вьюер
#HMR #HSR #HPR #video2scene #videoto4d #4D #video2pose #humanreconstruction #videoto3d
Реконструкция 4D человеческих фигур и сцены из монокулярных видео, в том числе по потоковому видео в реальном времени!
— может восстанавливать несколько тел SMPL-X (многопользовательский режим) в одном проходе
— создаёт плотную 3D-модель сцены
— вычисляет траектории камеры
— работает в режиме реального времени (15 кадров в секунду)
— требует мало памяти (8 ГБ) - видимо речь о VRAM
— оценивает глобальное движение человека, восстанавливает локальную сетку тела, оценивает глубину видео и определяет положение камеры с помощью единой модели
— обучена на относительно небольшом синтетическом наборе данных BEDLAM всего за один день на одном GPU
Код
Интерактивный вьюер
#HMR #HSR #HPR #video2scene #videoto4d #4D #video2pose #humanreconstruction #videoto3d
🔥10
This media is not supported in your browser
VIEW IN TELEGRAM
UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass
3D реконструкция сцены и человека по монокулярному видео за один проход
Определяет параметры камеры и SMPL (стандартной модели человеческого тела)
Гитхаб
HF
Демо еще не доделали
#HMR #video2scene #videoto3d
3D реконструкция сцены и человека по монокулярному видео за один проход
Определяет параметры камеры и SMPL (стандартной модели человеческого тела)
Гитхаб
HF
Демо еще не доделали
#HMR #video2scene #videoto3d
👍8🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
MultiGO++
3D реконструкция человека в одежде по одной фотографии от китайцев
Решает проблемы текстур (нет данных), геометрии (плохие priors) и системной предвзятости (одна модальность)
Bзвлекает геометрию с помощью модуля, который учитывает особенности разных частей тела
Улучшает качество 3D-сетки и эффективность извлечения данных с помощью гауссова ремешинга
Кода нет
#humanreconstruction #imageto3d #HMR #HPR
Нейронавт в MAX 📲
3D реконструкция человека в одежде по одной фотографии от китайцев
Решает проблемы текстур (нет данных), геометрии (плохие priors) и системной предвзятости (одна модальность)
Bзвлекает геометрию с помощью модуля, который учитывает особенности разных частей тела
Улучшает качество 3D-сетки и эффективность извлечения данных с помощью гауссова ремешинга
Кода нет
#humanreconstruction #imageto3d #HMR #HPR
Нейронавт в MAX 📲
👍2🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Sapiens2
Семейство высокоразрешающих трансформерных моделей от Meta (запрещено в РФ)
• оценивает позу (308 ключевых точек)
• сегментирует части тела (29 классов)
• рассчитывает нормали поверхности
• создаёт pointmap
Веса от 0,4B до 5 B параметров, разрешение до 4K (4096×3072)
Сгодится для создания аватаров, AR/VR и реконструкции человека
GitHub: https://github.com/facebookresearch/sapiens2
Hugging Face: https://huggingface.co/facebook/sapiens2
#hmr #humanreconstruction #video2normals #segmentation #video2pose
Семейство высокоразрешающих трансформерных моделей от Meta (запрещено в РФ)
• оценивает позу (308 ключевых точек)
• сегментирует части тела (29 классов)
• рассчитывает нормали поверхности
• создаёт pointmap
Веса от 0,4B до 5 B параметров, разрешение до 4K (4096×3072)
Сгодится для создания аватаров, AR/VR и реконструкции человека
GitHub: https://github.com/facebookresearch/sapiens2
Hugging Face: https://huggingface.co/facebook/sapiens2
#hmr #humanreconstruction #video2normals #segmentation #video2pose
🔥8
GUSH3R: Everyone Everywhere All at Once as Gaussians
Реконструкция движущихся людей вместе со сценой из монокулярного видео. Делает всё за один проход, сразу в гауссианы
Опирается на геометрические и человеческие априоры, SMPL-X для поз
• реконструкция людей и статичной сцены в одном проходе
• стабильная геометрия
• синтез новых ракурсов с фотореализмом
• высокая скорость против оптимизационных методов
Гитхаб
HF
#hmr #video2gaussian #videoto3d #gaussian
Реконструкция движущихся людей вместе со сценой из монокулярного видео. Делает всё за один проход, сразу в гауссианы
Опирается на геометрические и человеческие априоры, SMPL-X для поз
• реконструкция людей и статичной сцены в одном проходе
• стабильная геометрия
• синтез новых ракурсов с фотореализмом
• высокая скорость против оптимизационных методов
Гитхаб
HF
#hmr #video2gaussian #videoto3d #gaussian
❤6👍1
This media is not supported in your browser
VIEW IN TELEGRAM
StudioRecon
Реконструкция 4D-сцены с людьми по 4 камерам с малым перекрытием. Разделяя фон и людей, убирает артефакты в слабо наблюдаемых зонах.
Работает на скудных данных, дает стабильный рендер с произвольных ракурсов.
• видео-диффузия насыщает фон новыми видами
• SMPL фиксирует геометрию людей
• рекурсивный модуль выравнивает движение и стыки
Код / веса ждем
#videoto4d #gaussian #4d #video2scene #hmr
Реконструкция 4D-сцены с людьми по 4 камерам с малым перекрытием. Разделяя фон и людей, убирает артефакты в слабо наблюдаемых зонах.
Работает на скудных данных, дает стабильный рендер с произвольных ракурсов.
• видео-диффузия насыщает фон новыми видами
• SMPL фиксирует геометрию людей
• рекурсивный модуль выравнивает движение и стыки
Код / веса ждем
#videoto4d #gaussian #4d #video2scene #hmr
👍9❤1
SHELLS: Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling
Реконструкция 3D‑головы с текстурами от Google по нескольким видам. Держит топологию, избегает артефактов
Сразу пригодная для анимации топология
Точность до субмиллиметровых деталей.
Жрет 2.4 GB VRAM. Но это VRAM у кого надо VRAM. Кода-весов нет
на базе GNM
#head #HMR #imageto3d #photogrammetry
Реконструкция 3D‑головы с текстурами от Google по нескольким видам. Держит топологию, избегает артефактов
Сразу пригодная для анимации топология
Точность до субмиллиметровых деталей.
Жрет 2.4 GB VRAM. Но это VRAM у кого надо VRAM. Кода-весов нет
на базе GNM
#head #HMR #imageto3d #photogrammetry
🔥17💯2🤯1
Media is too big
VIEW IN TELEGRAM
4DAnyone
Создает 4D-модель человека в движении по монокулярному видео. Без рига, калибровки и штатива. Генерирует ракурсы, которых не сняла камера, и собирает их в 4D гауссианы
- Работает на живых кадрах без калибровки камеры: танцы, спорт, сцена, речь, мода
- Reference Context Packing сжимает растущий референсный контекст в фиксированный бюджет
- Target Context Routing обменивается информацией между группами ракурсов — нет структурного дрейфа
- Скелетная 3D-условие вместо хрупких depth-карт — устойчивая геометрия
В основе Wan2.2 VAE + umt5-xxl энкодер, детекция через YOLO/ViTPose/GVHMR
Работает с FlashAttention-3 или SageAttention
Гитхаб
#4d #gaussian #videoto4d #HMR
VK | MAX
Создает 4D-модель человека в движении по монокулярному видео. Без рига, калибровки и штатива. Генерирует ракурсы, которых не сняла камера, и собирает их в 4D гауссианы
- Работает на живых кадрах без калибровки камеры: танцы, спорт, сцена, речь, мода
- Reference Context Packing сжимает растущий референсный контекст в фиксированный бюджет
- Target Context Routing обменивается информацией между группами ракурсов — нет структурного дрейфа
- Скелетная 3D-условие вместо хрупких depth-карт — устойчивая геометрия
В основе Wan2.2 VAE + umt5-xxl энкодер, детекция через YOLO/ViTPose/GVHMR
Работает с FlashAttention-3 или SageAttention
Гитхаб
#4d #gaussian #videoto4d #HMR
VK | MAX
👍6❤4
Dense4D
Первая feed-forward модель для плотноой 4D-реконструкции человека по обычным монокулярным RGB-снимкам, без шаблона тела. Imperial College.
• Нужно отслеживать одни и те же точки поверхности через артикуляцию, деформацию и смену видимости
• Существующие методы оставляют несколько смещенных копий тела — по одной на кадр
• Dense4D работает прицельно по человеческой геометрии
Как работает
• Строит Human Point Maps: каждому пикселю человека присваивает 3D-позицию поверхности на общем опорном времени
• Совместно обрабатывает вырезки человека с известными преобразованиями и предсказывает глубину
• Amodal-соответствие: скрытые в опорном кадре точки находятся по другим кадрам
• Совпадение координат HPM даёт соответствие без поз камеры и больших смещений сцены
Лучше совпадает со сканами на 4D-Dress, где опорный кадр видит лишь часть тела
Код ждем
#hmr #video24d
MAX
Первая feed-forward модель для плотноой 4D-реконструкции человека по обычным монокулярным RGB-снимкам, без шаблона тела. Imperial College.
• Нужно отслеживать одни и те же точки поверхности через артикуляцию, деформацию и смену видимости
• Существующие методы оставляют несколько смещенных копий тела — по одной на кадр
• Dense4D работает прицельно по человеческой геометрии
Как работает
• Строит Human Point Maps: каждому пикселю человека присваивает 3D-позицию поверхности на общем опорном времени
• Совместно обрабатывает вырезки человека с известными преобразованиями и предсказывает глубину
• Amodal-соответствие: скрытые в опорном кадре точки находятся по другим кадрам
• Совпадение координат HPM даёт соответствие без поз камеры и больших смещений сцены
Лучше совпадает со сканами на 4D-Dress, где опорный кадр видит лишь часть тела
Код ждем
#hmr #video24d
MAX
🔥3❤2