🤖 NVIDIA Cosmos 3: физический ИИ учится думать, прежде чем действовать

NVIDIA представила Cosmos 3 — открытую world foundation model, объединяющую визуальное рассуждение, мультимодальную генерацию и предсказание действий. Модель предназначена для роботов, беспилотных автомобилей и систем видеонаблюдения, помогая им анализировать сцены и прогнозировать развитие событий в реальном времени.

Архитектура mixture-of-transformers включает блок рассуждения, который интерпретирует происходящее в кадре, и блок генерации, создающий физически обоснованные выходные данные — от синтетического видео до траекторий движений робота. Cosmos 3 поддерживает нативную генерацию action-данных: углы сочленений, позиции захватов, точки траектории. Это позволяет дообучать модель под конкретные задачи — pick-and-place, сборку, навигацию.

Для разработчиков физического ИИ модель решает проблему сбора редких сценариев (long-tail edge cases): аварийные ситуации, нестандартные конфигурации объектов, поведение пешеходов. Cosmos 3 генерирует физически правдоподобные видеопоследовательности, которые можно использовать для обучения политик в симуляции. Команда NVIDIA GEAR уже применяет модель для создания video action models в играх, симуляциях и реальной робототехнике.

#AI #NVIDIA #Cosmos3 #PhysicalAI #Robotics #FoundationModel