😭 Microsoft Research представила Mirage — видеомодель с постоянной пространственной памятью

Исследователи из нескольких университетов совместно с Microsoft Research разработали Mirage — новую видеомодель мира, которая запоминает пространственную структуру сцены без затратного рендеринга пиксельных облаков. Это позволяет генерировать стабильное видео даже при длинных движениях камеры.

Существующие системы (Voyager, WonderWorld, Spatia) хранят память в виде RGB-облаков точек, что требует постоянного рендеринга и повторного кодирования — двойное узкое место. Mirage хранит внутренние признаки (latent features) диффузионной модели прямо в 3D-пространстве, минуя пиксельное представление. Это ускоряет генерацию до 10,57 раз и снижает потребление памяти до 55 раз по сравнению с аналогами.

Модель строит видео сегментами: из начального кадра создаётся кэш признаков, затем каждый новый сегмент читает из него данные и дописывает обратно. Фильтр удаляет движущиеся объекты и небо, чтобы в долговременную память попадала только стабильная геометрия. В основе лежит открытая модель Wan2.2 от Alibaba с дообучением через LoRA.

На бенчмарке WorldScore Mirage превосходит Spatia и значительно опережает Wan2.1 и CogVideoX. В тесте с возвратом камеры в исходную точку (RealEstate10K) система показывает лучшие результаты по двум из трёх метрик. Ограничение: движущиеся объекты на границах сегментов отбрасываются — это направление для будущих улучшений.

#AI #Microsoft #VideoGen #Tech #Research #Mirage