Align3R: Aligned Monocular Depth Estimation for Dynamic Videos

Генерирует для видео консистентные глубину, облака точек, камеру

Код
Интерактивная галерея

#video2depth #video2pointcloud #video2camera #tracking

Thinking with Camera: A Unified Multimodal Model for Camera-Centric Understanding and Generation

Puffin — унифицированная мультимодальная модель для работы с камерой. Понимает визуал с точки зрения камеры. Объединяет задачи понимания и генерации:

— связывает визуальные подсказки с фотографическими терминами

— предсказывает параметры камеры

— генерирует виды с учётом пространственной согласованности

— описывает сцены по ориентации и начальному виду

— предлагает улучшить эстетику фото через корректировку параметров камеры

Puffin пригоден для генерации видео с заданными параметрами камеры, создания длинных и панорамных сцен путём итеративной генерации видов и их подачи в модель, корректировки параметров камеры для лучшей эстетики

Закинул в него кадр из ЗВ на анализ, вот результат

<think> На снимке изображены две фигуры с фонарями в руках, одна из которых излучает яркий красный луч, а другая - синий, создавая динамичный визуальный эффект. Горизонтальная ориентация близка к горизонтальной, поскольку линия горизонта относительно прямая и параллельна нижнему краю кадра, что указывает на стабильное положение камеры. Вертикальная ориентация показывает небольшой наклон вверх, о чем свидетельствует небольшой угол наклона лучей и расположение фигур, что позволяет предположить, что камера слегка наклонена вверх, чтобы охватить всю высоту фигур и лучей. Поле зрения - крупным планом, так как фигуры и их лучи доминируют в кадре, с минимальными деталями фона, подчеркивающими взаимодействие и влияние лучей на сцену.</think><answer>-0.0037, 0.1587, 0.4600</answer>

Код
HF
Демо

#vlm #captioning #camera #video2pose #video2camera #text2video

Depth Anything 3: Recovering the Visual Space from Any Views

Новая версия генератора глубины от ByteDance.
Только теперь это реконструктор 3D сцен на гауссианах с качественной геометрией по любому количеству входных данных. Ну и глубину конечно тоже выдает. Качество карт глубины и оценку положения камеры улучшили.

Код
HF
Демо

#video2depth #video2scene #image2depth #image2scene #video2camera #gaussian

ProxyPose

Трекер. Лора к Wan2.1-T2V-14B
Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях.

• берет один пиксель-запрос - выдает траекторию 6-DoF
• видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель
• геометрия без обучения: контурное сопоставление + PnP
• тянет трекинг для лиц и камер без доп. тренировки
• работает с event-видео и SPAD-сенсорами

Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах.

Гитхаб
HF

#tracking #6dof #v2v #video2camera