NVidia CaP-X: claudecode аналог для кодовых ИИ-агентов управляющих роботами
Исследователи из NVIDIA, UC Berkeley, Stanford и CMU представили CaP-X — фреймворк для оценки ИИ-агентов, которые управляют роботами через генерацию Python-кода.
Вместо обучения правилам «с нуля» агенты компилируют команды из входящих сигналов с датчиков и контролируемых елементов.
🤖 Code-as-Policy: Агент получает задачу на естественном языке («подними кубик и поставь на стол») и генерирует исполняемый код, вызывающий функции восприятия и управления. Никакого ML обучения.
📊 CaP-Bench: 100+ задач манипуляции across Robosuite, LIBERO-PRO и BEHAVIOR. Тестируют 12 фронтальных моделей на разных уровнях абстракции — от низкоуровневых примитивов до высокоуровневых pick-and-place команд.
🏆 Ключевые результаты: Фронтальные модели достигают 30% успеха в zero-shot без обучения. CaP-Agent0 (training-free) превосходит SOTA VLA-модели на возмущённых задачах: 18% против 0-13% у OpenVLA и π0.
🎯 CaP-RL: Дообучение через reinforcement learning с наградами от среды. 7B модель Qwen 2.5 Coder прыгает с 20% до 72% успеха после 50 итераций. Sim-to-real трансфер работает с минимальным разрывом: 84% на подъёме кубика на реальном Franka Emika.
💼 Зачем бизнесу: Альтернатива дорогим VLA-моделям, требующим миллионов примеров для обучения. Кодовые-агенты на новых задачах обобщают опыт лучше. Высокоуровневые абстракции позволяют слабым моделям достигать сильных результатов через разделение труда: лёгкая LM для планирования + VLA для низкоуровневого контроля.
🔮 Будущее: Разрыв в 56 процентных пунктов до человеческого уровня остаётся одним из главных открытых вызовов ИИ. Следующий шаг — комбинация языковых моделей для высокоуровневого планирования с визуальной моторикой для исполнения.
Paper | GitHub | Demo
#robotics #AI #NVidia #роботы #CaP-X #VLA #reinforcement-learning
───
@tsingular
Исследователи из NVIDIA, UC Berkeley, Stanford и CMU представили CaP-X — фреймворк для оценки ИИ-агентов, которые управляют роботами через генерацию Python-кода.
Вместо обучения правилам «с нуля» агенты компилируют команды из входящих сигналов с датчиков и контролируемых елементов.
🤖 Code-as-Policy: Агент получает задачу на естественном языке («подними кубик и поставь на стол») и генерирует исполняемый код, вызывающий функции восприятия и управления. Никакого ML обучения.
📊 CaP-Bench: 100+ задач манипуляции across Robosuite, LIBERO-PRO и BEHAVIOR. Тестируют 12 фронтальных моделей на разных уровнях абстракции — от низкоуровневых примитивов до высокоуровневых pick-and-place команд.
🏆 Ключевые результаты: Фронтальные модели достигают 30% успеха в zero-shot без обучения. CaP-Agent0 (training-free) превосходит SOTA VLA-модели на возмущённых задачах: 18% против 0-13% у OpenVLA и π0.
🎯 CaP-RL: Дообучение через reinforcement learning с наградами от среды. 7B модель Qwen 2.5 Coder прыгает с 20% до 72% успеха после 50 итераций. Sim-to-real трансфер работает с минимальным разрывом: 84% на подъёме кубика на реальном Franka Emika.
💼 Зачем бизнесу: Альтернатива дорогим VLA-моделям, требующим миллионов примеров для обучения. Кодовые-агенты на новых задачах обобщают опыт лучше. Высокоуровневые абстракции позволяют слабым моделям достигать сильных результатов через разделение труда: лёгкая LM для планирования + VLA для низкоуровневого контроля.
🔮 Будущее: Разрыв в 56 процентных пунктов до человеческого уровня остаётся одним из главных открытых вызовов ИИ. Следующий шаг — комбинация языковых моделей для высокоуровневого планирования с визуальной моторикой для исполнения.
Paper | GitHub | Demo
#robotics #AI #NVidia #роботы #CaP-X #VLA #reinforcement-learning
───
@tsingular
🔥8👍6❤3👾1