DWPose: Effective Whole-body Pose Estimation with Two-stages Distillation

Определение позы от IDEA Research
Говорят, лучше чем Openpose. Сравнение закину в комментарии

Код
Демо (в выпадающей менюшке выбрать wholebody)

#image2pose #video2pose #poseestimation

DWPose можно попробовать в колабе

Колаб

#image2pose #video2pose #poseestimation

FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

NVIDIA. Трекер положения любого объекта. Чтобы задать объект для отслеживания надо показать несколько референсных его изображений или CAD модель.

Код

#tracking #poseestimation #image2pose #video2pose

MMPose

Набор инструментов для определения позы

#image2pose #video2pose #poseestimation

nlf: Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation

Реконструкция позы человека по видео с одного ракурса, с фигурой но без одежды

Код

#poseestimation #video2pose #videoto3d #video2mesh #humanreconstruction

CameraHMR: Aligning People with Perspective

Реконструкция 3D позы и формы человека по одному изображению или видео с учетом перспективы камеры

Есть 4 ключевых фактора, которые делают его точным и надежным:

1. Чтобы получить точную 3D-форму и позу, а также хорошее соответствие особенностям изображения, вам необходимо знать фокусное расстояние камеры. Чтобы решить эту проблему, мы обучаем HumanFOV вычислять поле зрения.

2. Мы вводим CameraHMR, который интегрирует HumanFOV в HMR2.0 для использования расчетного фокусного расстояния.

3. Чтобы получить точные обучающие данные pseudo ground truth (pGT), мы вычисляем фокусное расстояние для изображений в наборе данных 4DHumans и модифицируем SMPLify, чтобы учесть это.

4. Но SMPLify использует только разреженные 2D-ключевые точки, которые не отражают форму тела. Итак, мы тренируем детектор ключевых точек плотной поверхности, DenseKP, на BEDLAM и запускаем его на 4DHumans, что приводит к улучшению формы тела. Результирующий метод - CamSMPLify.

Мы повторяем обучение CameraHMR и запускаем CamSMPLify на обучающем наборе, инициализированном CameraHMR . Это приводит к значительному улучшению pGT для 4DHumans и методу HMR с одним изображением SOTA.

Код

#poseestimation #video2pose #image2pose #videoto3d #video2mesh #humanreconstruction

WHAC: World-grounded Humans and Cameras

Реконструкция позы и меша человека, а также ракурса/движения камеры (трекинг) по одному монокулярному (не стерео) видео

За позу отвечает SMPLest-X

Код

#video2pose #video2mesh #videoto3d #tracking #poseestimation #humanreconstruction

PHD: Personalized 3D Human Body Fitting with Point Diffusion

Реконструкция позы и телесной формы человека по видео от запрещенной Meta

Код ждем наверно

#video2pose #humanreconstruction #video2mesh #HMR #poseestimation

RF-DETR keypoints

Roboflow выпустили модель для детекции ключевых точек (поз и суставов) на видео в реальном времени.

Выдает 2D-эллипс неопределённости для каждой точки, сразу видно зоны неуверенности

• 71,8 AP на COCO, задержка 9,7 мс на T4
• обгоняет YOLO11-pose и YOLO26-pose при схожей задержке

Гитхаб

#detection #video2pose #poseestimation #realtime