DWPose можно попробовать в колабе

Колаб

#image2pose #video2pose #poseestimation

From Skin to Skeleton: Towards Biomechanically Accurate 3D Digital Humans

Биомеханически корректное восстановление позы, скелета, меша по видео.
Код там же, три ссылки внизу

#video2pose #videoto3D #image2pose

ScoreHMR:Score-Guided Diffusion for 3D Human Recovery

Диффузное восстановление позы и фигуры человека по одному или нескольким ракурсам. Пока еще неидеально, как минимум беда с ногами

Код
Колаб

#image2pose #video2pose #image2mesh #imageto3D #videoto3D

FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

NVIDIA. Трекер положения любого объекта. Чтобы задать объект для отслеживания надо показать несколько референсных его изображений или CAD модель.

Код

#tracking #poseestimation #image2pose #video2pose

MMPose

Набор инструментов для определения позы

#image2pose #video2pose #poseestimation

Sapiens: Foundation for Human Vision Models

Семейство моделей от Meta Reality Labs для выполнения четырех задач на изображениях человеков:

- оценка 2D-позы
- сегментация частей тела
- карта глубины
- карта нормалей

Код
Демо

#image2pose #segmentation #image2mask #image2depth #image2normal

CameraHMR: Aligning People with Perspective

Реконструкция 3D позы и формы человека по одному изображению или видео с учетом перспективы камеры

Есть 4 ключевых фактора, которые делают его точным и надежным:

1. Чтобы получить точную 3D-форму и позу, а также хорошее соответствие особенностям изображения, вам необходимо знать фокусное расстояние камеры. Чтобы решить эту проблему, мы обучаем HumanFOV вычислять поле зрения.

2. Мы вводим CameraHMR, который интегрирует HumanFOV в HMR2.0 для использования расчетного фокусного расстояния.

3. Чтобы получить точные обучающие данные pseudo ground truth (pGT), мы вычисляем фокусное расстояние для изображений в наборе данных 4DHumans и модифицируем SMPLify, чтобы учесть это.

4. Но SMPLify использует только разреженные 2D-ключевые точки, которые не отражают форму тела. Итак, мы тренируем детектор ключевых точек плотной поверхности, DenseKP, на BEDLAM и запускаем его на 4DHumans, что приводит к улучшению формы тела. Результирующий метод - CamSMPLify.

Мы повторяем обучение CameraHMR и запускаем CamSMPLify на обучающем наборе, инициализированном CameraHMR . Это приводит к значительному улучшению pGT для 4DHumans и методу HMR с одним изображением SOTA.

Код

#poseestimation #video2pose #image2pose #videoto3d #video2mesh #humanreconstruction

Опубликован код и веса генератора технических карт (пассов) DICEPTION

Под капотом #SD3 и своя модель на 4 ГБ

Код
Веса

Спасибо @Dmitriy_Ru6ts0v

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation

BBoxMaskPose: Detection, Pose Estimation and Segmentation for Multiple Bodies: Closing the Virtuous Circle

Обнаружение, сегментация и оценка поз для изображений с большим количеством людей

Гитхаб
Демо

#detection #segmentation #image2pose #HPR

FoundationStereo и FoundationPose (NVIDIA)

Две открытые модели для 3D-перцепции из систем Vision AI

FoundationStereo

Стерео-глубина без дообучения. Пара RGB-картинок со стереокамеры на входе, точная карта диспаритета на выходе.

• Zero-shot стерео-матчинг на новых сценах
• Для робототехники промышленности и умных пространств
• ONNX и TensorRT
• Работает от Jetson до H100

Слабые места: прозрачные объекты пересвет и плохое освещение.

FoundationPose

6-DoF поза объектов без обучения. CAD-модель -> положение и ориентация объекта на RGBD-кадре плюс трекинг по видео

• Zero-shot на новых объектах нужен только CAD
• Оценка позы и отслеживание на видео
• Обучена на synthetic-данных Objaverse и GSO
• Средний скор 83.3 на BOP-бенчмарках
• TensorRT работает от Orin Nano до H100

#stereo2depth #image2depth #image2pose

SchemaPose

Модель для оценки категориальной 9D-позы объектов по одному RGB-изображению. NeurIPS 2026, #SOTA среди RGB-методов.

Код ждем

#image2pose

MAX