ViPE: Video Pose Engine for 3D Geometric Perception

Трекер камеры и плотностной глубины видео от NVIDIA.

Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.

Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс

Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом --pipeline no_vda

На сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте

Код

#video2depth #tracking #camera

CAP4D: Creating Animatable 4D Portrait Avatars with Morphable Multi-View Diffusion Models

Создание анимируемых портретных 4D-аватаров. Модель способна генерировать реалистичные 4D-аватары на основе любого количества эталонных изображений

Рендерится в реальном времени

На первом этапе создает много изображений с разных ракурсов при помощи SD 2.1. Далее собирает собственно 4D модель.

Под капотом 3D трекер лица FlowFace (код ждем), FLAME для выражений лица, GaussianAvatars для деформируемой головы на гауссианах

Аватар можно редактировать внешними средствами - упомянуты Stable-Makeup и IC-Light

Плюс ко всему, аватар может управляться звуком речи

Код - FlowFace работает в демо-режиме, только с лицами из демо-набора

#humanavatar #gaussian #head #portraitanimation #tracking #pose

TrackVLA++: Unleashing Reasoning and Memory Capabilities in VLA Models for Embodied Visual Tracking

Отслеживание объектов на видео.
Когда эту штуку выложат в опенсорс, ее загрузят роботам в мозги чтобы они более лучше нас преследовали

#tracking #research

TubeletGraph: Tracking and Understanding Object Transformations

Трекер объектов на видео на языковой модели.
Отслеживает объекты и их трасформации на видео, составляет граф всех трасформаций и решает какие данные включить в результат. Умеет отслеживать исчезающие и вновь появляющиеся объекты.

Код

#tracking #segmentation

Orient Anything V2: Unifying Orientation and Rotation Understanding

Модель для понимания ориентации, симметрии и относительного вращения объектов в пространстве

Гитхаб
HF
Демо

#image2pose #image2camera #tracking

trackers

Инструмент для отслеживания объектов в видео через командную строку от Roboflow. Запускаешь в терминале, указываешь источник (видео, вебкамера, RTSP-поток) и модель — получаешь размеченный вывод.

Под капотом RF-DETR, сделавший в прошлом году #SOTA на детекции объектов в реальном времени

Полезно для быстрого прототипирования и автоматизации без GUI.

#segmentation #tracking #objextdetection

TapFormer

трекинг произвольных точек из кадров + событий

на черри пиках лучше Cotracker 3

Гитхаб
Веса

#tracking

Нейронавт в MAX 📲

MVTrack4Gen

мультимодальная генерация видео с трекингом объектов по промпту. решает проблему согласованности объектов между кадрами в длинных видео - наоснове двух базовых моделей (ReCamMaster и ReDirector)

В частности позволяет пересоздать исходное видео с другого ракурса, стабилизировать камеру и т д

#sota по стабильности геометрии

Код ждем

#tracking #cameracontrol #t2v #i2v #referencing #v2v

ProxyPose

Трекер. Лора к Wan2.1-T2V-14B
Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях.

• берет один пиксель-запрос - выдает траекторию 6-DoF
• видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель
• геометрия без обучения: контурное сопоставление + PnP
• тянет трекинг для лиц и камер без доп. тренировки
• работает с event-видео и SPAD-сенсорами

Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах.

Гитхаб
HF

#tracking #6dof #v2v #video2camera

EgoForce

Система реконструкции 3D-позы рук из монокулярной камеры от первого лица. Решает проблему определения точной позиции рук в AR/VR и телеприсутствии с помощью одной камеры на шлеме.

• Работает с разными типами камер: фишай, перспективные, широкоугольные
• определяет абсолютную 3D-позицию
• встроенный решатель для работы с разными конфигурациями камер
• интеграция с Unity для визуализации

Точность на 28% выше аналогов на HOT3D датасете. Работает даже когда предплечье не видно в кадре.

Гитхаб
HF - там предупреждение о небезопасности файлов, не торопитесь скачивать
Демо

#tracking #hand #vodeo2hand #videoto3d #video2pose

IGGT4D

Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.

• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.

код / веса ждем

#vlm #tracking #segmentation #videoto4d #vidfeo2depth

TrackEverything от CMU и Meta (запрещено в РФ)

Плотный 3D-трекер точек на длинных видео. Отслеживает все видимые точки всех кадров на горизонте 1000+ кадров, представляя видео как постоянные 3D-трассы в мировых координатах

• все точки, а не только с первого кадра - трек начинается, как только точка появилась
• 3D и 2D трассы одновременно, с учётом движения камеры
• классификация статика/динамика покадрово по окнам
• разбиение на дубликаты в 3D-представлении убирает двойные соответствия

Метод через дедупликацию 3D-сцен-репрезентаций - в отличие от предшественников с ретроспективой на первый кадр. Слабые места честно называются: быстрые смещения и текстуры с повторами ломают соответствие

Гитхаб ждем

#tracking

MAX