ProxyPose

Трекер. Лора к Wan2.1-T2V-14B
Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях.

• берет один пиксель-запрос - выдает траекторию 6-DoF
• видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель
• геометрия без обучения: контурное сопоставление + PnP
• тянет трекинг для лиц и камер без доп. тренировки
• работает с event-видео и SPAD-сенсорами

Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах.

Гитхаб
HF

#tracking #6dof #v2v #video2camera