ViPE: Video Pose Engine for 3D Geometric Perception

Трекер камеры и плотностной глубины видео от NVIDIA.

Скорость 3-5 кадров в секунду, обрабатывает кинематографические шоты, материал с видеорегистраторов и даже панорамы на 360°.

Уже используется в Gen3c и Cosmos. Вот решили выпустить в опенсорс

Под капотом есть Video Depth Anything но для экономии VRAM можно запускать без него с флагом --pipeline no_vda

На сайте проекта есть интерактивный вьюер 4D-облаком точек, полюбопытствуйте

Код

#video2depth #tracking #camera

Thinking with Camera: A Unified Multimodal Model for Camera-Centric Understanding and Generation

Puffin — унифицированная мультимодальная модель для работы с камерой. Понимает визуал с точки зрения камеры. Объединяет задачи понимания и генерации:

— связывает визуальные подсказки с фотографическими терминами

— предсказывает параметры камеры

— генерирует виды с учётом пространственной согласованности

— описывает сцены по ориентации и начальному виду

— предлагает улучшить эстетику фото через корректировку параметров камеры

Puffin пригоден для генерации видео с заданными параметрами камеры, создания длинных и панорамных сцен путём итеративной генерации видов и их подачи в модель, корректировки параметров камеры для лучшей эстетики

Закинул в него кадр из ЗВ на анализ, вот результат

<think> На снимке изображены две фигуры с фонарями в руках, одна из которых излучает яркий красный луч, а другая - синий, создавая динамичный визуальный эффект. Горизонтальная ориентация близка к горизонтальной, поскольку линия горизонта относительно прямая и параллельна нижнему краю кадра, что указывает на стабильное положение камеры. Вертикальная ориентация показывает небольшой наклон вверх, о чем свидетельствует небольшой угол наклона лучей и расположение фигур, что позволяет предположить, что камера слегка наклонена вверх, чтобы охватить всю высоту фигур и лучей. Поле зрения - крупным планом, так как фигуры и их лучи доминируют в кадре, с минимальными деталями фона, подчеркивающими взаимодействие и влияние лучей на сцену.</think><answer>-0.0037, 0.1587, 0.4600</answer>

Код
HF
Демо

#vlm #captioning #camera #video2pose #video2camera #text2video