IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction

Семантический реконструктор 3D сцен от StepFun и Ко.
#SOTA в 3D реконструкции и понимании сцен по 2D изображениям.

На вход принимает видео, набор изображений или RGBD

Сначала модель получает изображения и преобразует их в особый вид представления — токены. Для этого используется DINOv2. Потом эти токены обрабатываются 24 модулями внимания. Они анализируют изображения с разных точек зрения и объединяют информацию в единое представление.

Дальше это представление разделяется на два потока:

— один поток (Geometry Head) занимается геометрией: вычисляет параметры камеры, создаёт карты глубины и облака точек;

— другой поток (Instance Head) выделяет отдельные объекты в сцене, определяя их границы и особенности.

Чтобы лучше связать геометрию и объекты, используется специальный блок — Cross-Modal Fusion Block. Он помогает потоку с объектами «понимать» геометрию сцены, улучшая определение границ объектов. 1

Затем модель группирует найденные объекты в кластеры, используя метод HDBSCAN. Это позволяет создать маски, которые показывают, где в сцене находятся разные объекты. Эти маски можно использовать с разными языковыми моделями, чтобы задавать вопросы о сцене, сегментировать объекты или отслеживать их движение.

Код ждем

#video2scene #rgbd2scene #videoto3d #rgbdto3d #scenereconstruction