Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation

Генератор глубины разрешением до 4К для видео. Но не для любого, нужны данные с лидара. У потребительских лидаров, таких как в айфоне, например, очень кислое разрешение, что-то вроде 256x192. Эти данные плюс RGB видео используются как промпт для генерации высококачественной карты глубины

Код
Демо
Код неофициальный
Пример результата на rerun.io покрутить

#rgbd #video2depth

LingBot-Depth: Masked Depth Modeling for Spatial Perception

Превращает неточные и неполные данные с датчиков глубины в точные 3D-измерения. Особенно хорошо работает там, где обычные камеры сбоят — например, на стеклянных или металлических поверхностях

В теории, можно использовать для улучшения карт глубины из других нейросеток

Гитхаб
HF

PS. У этих ребят еще есть LingBot-VLA - базовая визульно-языковая модель для роботов

#rgbd #rgbd2grbd #image2depth #video2depth