FoundationStereo: Zero-Shot Stereo Matching

Сегодня разбираем статью от NVIDIA. Исследователи решают задачу определения глубины по двум изображениям, снятым с близко расположенных камер, то есть со стереопары. Камеры смотрят в одном направлении, поэтому каждая 3D-точка попадает приблизительно на одну строку в обеих картинках, но в разных местах. Это позволяет искать соответствия между пикселями одной и той же строки двух изображений, и, используя эти соответствия, восстанавливать глубину сцены.

Определив соответствия между точками на двух изображениях, можно вычислить диспаритет — сдвиг координат пикселя на одной картинке относительно другой. Зная диспаритет, фокусное расстояние и расстояние между оптическими центрами камер, можно пересчитать его в глубину.

Исследователи из NVIDIA говорят, что сейчас нет модели стерео-матчинга, которая бы показывала хорошую zero-shot-генерализацию. Текущие лучшие решения предлагается дообучать на целевой домен.

В других задачах проблему генерализации уже удалось решить за счёт больших данных. Например, Segment Anything обучили на огромном датасете, и модель успешно работает без дообучения. NVIDIA попробовала применить этот же подход к стерео-матчингу. Они собрали фотореалистичный синтетический датасет FSD (картинка 2) из миллиона стереопар, превосходя по объёму и многообразию другие открытые датасеты. Датасет выложен в открытый доступ.

Детали архитектуры

Из левого и правого изображений (картинка 1) извлекаются фичи из Depth Anything, конкатенируются с фичами из отдельной обучаемой свёрточной сети. Из этой пары создаётся feature cost volume — объём фичей, где каждая описывает похожесть пикселя на левой картинке на пиксели в той же строке на правой картинке и корреляционный cost volume, где похожесть пикселей описывается единственным числом.

Такие cost volume’ы уже можно использовать для поиска диспаритета, но в них недостаёт глобального контекста картинок. Чтобы его добавить, применяется операция AHCF (Attentive Hybrid Cost Filtering), особенность которой — использование информации из всего cost volume для получения значений в финальном пикселе выходного тензора; это делается с помощью глобального внимания в transformer-ветви AHCF и с помощью аналога separable-свёрток в свёрточной ветви AHCF. Изменение по ablation даёт 10% улучшения по метрике BP-2: доля пикселей, где ошибка диспаритета больше 2 пикселей (0.221 → 0.197).

Дальше процесс похож на описанный в RAFT-Stereo, но с некоторыми отличиями. В RAFT-Stereo сеть получает на вход hidden state и срез из correlation cost volume. В Foundation Stereo получает срезы из correlation cost volume и feature cost volume.

Таким образом, вход в GRU включает:

— срез cost volume в соответствии с текущей оценкой диспаритета;
— фичи левой картинки из отдельно обучаемой контекстной сети (так делалось и в RAFT-Stereo);
— саму текущую оценку диспаритета.
GRU обновляет внутреннее состояние и предсказывает поправку, итеративно уточняя диспаритет.

Детали обучения

Модель обучается на смеси FSD-датасета и других датасетов с smoothed L1-лоссом и экспоненциально затухающими L1-добавками для оценок на диспаритет с разных итераций GRU-юнита.

Данные из FSD дополнительно фильтруют по BP-2, используя эту же модель, обученную на полном FSD-датасете, а затем обучают ёще раз.

Интересное из ablation study:

— использование Depth Anything фичей как входов в feature cost volume не работает совсем (по метрике BP-2);
— в separable-свертках для фильтрации feature cost volume используется ядро размера 17(!) по размерности диспаритета (но 1 по spatial-размерности);
— добавление FSD-датасета в обучение даёт BP-2 на датасете Middlebury в два раза лучше, чем без него.

Разбор подготовил ❣ Леонид Штанько

CV Time

🌟 Magma – это фундаментальная модель от Microsoft, предназначенная для создания мульти-модальных AI-агентов, способных воспринимать окружение и действовать в цифровом и физическом мире.

Эта модель объединяет данные из различных источников (изображения, видео, данные о робототехнических манипуляциях и тд) и позволяет решать сложные задачи, требующие одновременной обработки текстовой, визуальной и пространственной информации.

Как работает Magma:
🟢 Используется единый визуальный энкодер, который преобразует изображения и видео в векторные представления, обеспечивая универсальное понимание визуальных данных.
🟢 Далее применяется техника Set-of-Mark (SoM) для маркировки ключевых объектов в изображениях (например, интерактивных кнопок или частей робота), что позволяет модели точно «привязывать» действия к нужным элементам сцены.
🟢Техника Trace-of-Mark (ToM) отвечает за планирование действий, анализируя динамику видеоданных и предсказывая последовательности будущих движений или изменений состояния объектов.
🟢Интеграция визуальной информации с текстовыми данными осуществляется через языковую модель, которая генерирует ответы в виде текста, пространственных координат или команд для выполнения конкретных задач.

Для чего нужен:

🟢Magma обеспечивает мульти-модальное понимание данных, объединяя вербальный, пространственный и временной аспекты, что значительно расширяет возможности AI-агентов.
🟢 Применим в широком спектре задач – от навигации по пользовательским интерфейсам до управлени роботами и играми – благодаря способности адаптироваться к новым задачам без дообучения (zero-shot).
🟢Позволяет разрабатывать интеллектуальные системы, которые не просто анализируют данные, но и планируют и осуществляют последовательность действий, что особенно важно для робототехники и интерактивных приложений.

🟡Github
🟡Проект
🟡Статья
🟡HF
🟡Video

@ai_machinelearning_big_data

#AI #ML #LLM #opensource #agents #Microsoft

🔥🔥🔥 Бесплатно VEO 2 - бесплатно для всех!

Звучит как скам, но нет) Гугл внезапно расщедрился и дал доступ всем желающим. Правда, без подвоха не обошлось - бесплатный доступ к СОТА-видеомодельке можно получить только через Google Cloud, а для этого нужно подключить билинг к своему гугл-аккаунту, и не с российской карты. А потом еще и не потеряться на платформе, которая вообще предназначена для разработчиков, а не для бедных AI-художников. (Хотя после FreePik вам должно быть уже ничто не страшно).

Вот вам гайд:

1. Способ для тех, кому не терпится:

1) Переходим на console.cloud.google.com/freetrial/ в окошке Country ставим United States, т. к. туда раньше всех приходят обновления. Видим, что нам предлагают $300 на 90 дней (тем, кто имел дело с google cloud это уже известно). Учитывая, что 1 секунда VEO-2 стоит ~$0.5, этого хватит на 600 секунд генераций. Из приятного, то, что Гугл никого с этой подпиской скамить не собирается, на этой же странице написано:

No automatic charges
You only start paying if you decide to activate a full, pay-as-you-go account or choose to prepay. You’ll keep any remaining free credit.

2) Создаем Payment profile:

Вставляем любой адрес отсюда: bestrandoms.com/random-address Можно выбрать Аляску, чтобы потом при оплате (ну а вдруг понравится) не платить налог.
Остальное заполняем на свое усмотрение.

3) Payment method:
А вот здесь сложности. Я пробовал сгенерить таким же образом карту, но этот вариант здесь не прокатит. Нужна любая валидная карта, которую вы обычно используете для оплаты подписок. Опять же, Гугл обещает не чарджить токены автоматически без вашего разрешения, но цепляйте карты на свой страх и риск.

Переходим в Vertex AI Studio —> Media Studio и генерим!

Еще не у всех есть доступ к img2video, чтобы ускорить процесс и запросить дополнительные фичи, можно заполнить форму.

2-й способ для тех, кто готов подождать.

Для всех остальных есть aistudio, где сейчас тоже тихонько раскатывают доступ и сразу с img2video. У меня на одном из 5-ти аккаунтов он уже появился и без всяких форм для вейтлистов.

P.S. Оба способа сейчас очень ограничены в плане запросов. Гугл молодцы и хорошо расходуют компьют, дают каждому закинуть 1-2 запроса раза в пару минут, причем генерится довольно шустро - секунд 40-60, а не как в Kling 3 часа.

Подробнее про VEO и Google Cloud

@ai_newz