🌟 WildDet3D: открытая модель монокулярной 3D-детекции по одному снимку.

Институт Аллена представил модель WildDet3D, которая по одному изображению строит 3D-рамки объектов: оценивает их положение, размер и ориентацию в метрических координатах.

Модель принимает сразу несколько типов промптов: текстовый запрос, клик по точке или готовый 2D-бокс от внешнего детектора.

🟡Архитектура состоит из 3 блоков

2D-детектор построен на SAM3 и обрабатывает все типы запросов.

Геометрическая ветка использует энкодер DINOv2 с обучаемым декодером глубины, учитывающим геометрию обзора: направления лучей камеры зашиваются через сферические гармоники, что снимает необходимость в отдельной калибровке.

Третий компонент, 3D-head, объединяет через кросс-внимание 2D-детекции с признаками глубины и поднимает их в полноценные 3D-боксы.

Если на инференсе доступны данные с LiDAR, ToF или стереокамеры, они подмешиваются в ту же геометрическую ветку без переобучения.

🟡Тесты

На бенчмарке Omni3D модель показывает 34,2 AP с текстовыми промптами (это +5,8 пункта к прежнему лидеру 3D-MOOD).

На zero-shot переносе на Argoverse 2 WildDet3D практически удваивает прежний результат: 40,3 ODS против 23,8.

На редких категориях из собственного бенчмарка WildDet3D-Bench успехи, разумеется, еще лучше - 47,4 AP против 2,4 у 3D-MOOD.

🟡Вместе с моделью вышло демо-приложение для iOS.

Оно использует видеопоток с камеры iPhone и данные LiDAR-сенсора, чтобы в реальном времени отрисовывать 3D-боксы поверх сцены как AR-оверлей.

Это наглядная демонстрация того, как монокулярная модель усиливается, когда устройство умеет отдавать дополнительный сигнал глубины.

🟡Третья часть релиза - датасет WildDet3D-Data.

Более 1 млн. изображений и 3,7 млн. верифицированных 3D-аннотаций, охватывающих свыше 13 тыс. категорий объектов. По сценам распределение получилось такое: 52% помещений, 32% городской среды и 15% природы.

Он собран на основе 2D-наборов (COCO, LVIS, Objects365, V3Det): кандидаты в 3D-боксы генерировались 5 независимыми методами оценки геометрии, затем фильтровались, проверялись VLM и дополнительно отбирались людьми.


🟡Статья
🟡Модель
🟡Техотчет
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #Detection #WildDet3D #Ai2

🌟 Boxer: модель для подъема 2D-детекций в 3D.

У WildDet3D от Института Аллена появился сосед по задаче: Reality Labs корпорации Марка Цукерберга опубликовала проект с той же целью - перевести 2D-детекции в 3D, но с иным профилем возможностей и открытости.

Boxer - более узкий, но геометрически более строгий инструмент для indoor-сценариев с трекингом и фузией.

Пайплайн трехступенчатый:

🟢детектор OWLv2 находит объекты в кадре;

🟢BoxerNet с DINOv3 под капотом через кросс-внимание поднимает каждую 2D-рамку в 3D, опираясь на внутренние параметры камеры, направление гравитации и глубину;

🟢детекции между кадрами либо сливаются офлайн через венгерский алгоритм, либо ведутся онлайн-трекером.

В отличие от WildDet3D, Boxer работает с видеопоследовательностями: ему нужны 6-DoF позы каждого кадра, гравитация и калибровка.

Взамен он дает то, чего у WildDet3D нет: согласованные сценовые 3D-боксы на уровне всей сцены и онлайн-трекинг с сохранением идентичности объектов.

Boxer поставляется как inference-решение: авторы не планируют выкладывать код обучения и оценки, объясняя это нежеланием тянуть долгосрочную поддержку.

В репозитории - только скрипты запуска и загрузчики датасетов Project Aria (Gen 1 и 2), CA-1M, SUN-RGBD и ScanNet.

Boxer запускается на macOS и Linux. Windows официально не поддерживается


📌Лицензирование: CC-BY-NC-4.0 License.


🟡Страница проекта
🟡Модель
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #CV #Detection #Boxer #RealityLabs