👁 Google DeepMind: видео-генераторы уже содержат «мировые модели», которых не хватало компьютерному зрению

Исследователи Google DeepMind представили GenCeption — новую модель, которая использует предобученный генератор видео в качестве основы для классических задач компьютерного зрения. GenCeption достигает передовых результатов в оценке глубины, сегментации и 3D-оценке позы, требуя при этом минимального объёма обучающих данных.

В основе подхода лежит идея, что генерация реалистичного видео неявно требует понимания пространственной геометрии сцены, движения объектов и базовой физики. GenCeption построен на базе открытой модели Wan2.1 от Alibaba. Ключевое изменение — упрощённая архитектура: вместо многошаговой диффузии модель выдаёт предсказание за один прямой проход, что делает её достаточно быстрой для практических задач.

Исследователи используют единый метод для обработки разных задач: любой выходной сигнал (карта глубины, карта нормалей, маска сегментации) кодируется как стандартное RGB-изображение. Текстовый промпт указывает модели, какую задачу выполнять. Для задач вроде 3D-предсказания ключевых точек добавляются обучаемые модули. Обучение ведётся по единой функции потерь для всех задач.

Большая часть обучающих данных — синтетический набор из всего 7 500 видео. GenCeption сравнивается или превосходит специализированные модели (DepthAnything 3, SAM 3, NormalCrafter) на многих бенчмарках, используя при этом от 7 до 500 раз меньше данных. Авторы связывают этот успех именно с предобучением на задаче генерации видео, а не с объёмом данных.

#AI #Models #Google #ComputerVision #MachineLearning #GenCeption