📱ProtoMotions 3.

ProtoMotions 3 - это открытый высокопроизводительный фреймворк с GPU-ускорением, разработанный для симуляции, процедурной генерации и обучения движениям цифровых людей и гуманоидных роботов (Reinforcement Learning).

Проект выпущен под свободной лицензией Apache-2.0 и объединяет усилия исследователей в области анимации, робототехники и обучения с подкреплением, предоставляя модульную и масштабируемую платформу для быстрого прототипирования.

🔹Главные фичи и возможности:

🔘Масштабное обучение движениям: Позволяет обучить физически смоделированного персонажа моторным навыкам на основе огромного датасета анимаций AMASS (более 40 часов движения) всего за 12 часов на 4 видеокартах NVIDIA A100.

🔘Ретаргетинг в одну команду: Встроенный оптимизатор на базе PyRoki позволяет перенести базу движений человека на любого кастомного робота одной консольной командой (например, заменив параметр --robot-name=smpl на --robot-name=h1_2).

🔘Кросс-симуляционное тестирование (Sim2Sim): Переключение физических движков в один клик (--simulator=isaacgym ➔ newton ➔ mujoco). Это позволяет проверять алгоритмы управления роботами в разных условиях, используя только те сигналы датчиков, которые реально получить с «железа».

🔘Интеграция с генеративным ИИ: Поддерживает работу с ИИ-моделью NVIDIA Kimodo (генерация движений по текстовому промпту). Вы можете превратить текст в анимацию, а затем обучить робота выполнять это действие в симуляции.

🔘Фотореалистичный рендеринг: Полная интеграция с IsaacSim 5.0+ позволяет загружать красивое окружение, созданное с помощью трехмерного гауссового сплэттинга (Gaussian splatting).

🤖Из симуляции в реальность (Sim-to-Real).

Фреймворк успешно протестирован на аппаратном обеспечении. Универсальная политика трекинга обучается в симуляторе на датасете ~142 тысяч движений и переносится на реального гуманоидного робота Unitree G1 напрямую (zero-shot).

💡 Пайплайн развертывания экспортирует готовую ONNX-модель со встроенным вычислением параметров наблюдения. Фреймворкам на реальном роботе (тестировалось через RoboJuDo) достаточно просто скармливать модели сырые сигналы с датчиков — переписывать функции обработки данных вручную не нужно.

🛠Архитектурная модульность.

Вам не нужно писать монолитные тяжелые классы окружения. Например, задача управления движением собирается из независимых слоев:

🔘Контроллер (steering_control.py) — управляет целевым направлением и скоростью.

🔘Наблюдение (obs/steering.py) — тензорное ядро, переводящее цели в локальную систему координат робота.

🔘Награда (rewards/task.py) — рассчитывает функции вознаграждения за соблюдение курса и направления.

Добавить своего собственного робота так же просто: достаточно закинуть спецификацию .xml от MuJoCo в папку ассетов, заполнить конфигурационный файл и зарегистрировать его в фабрике роботов.

#ProtoMotions3 #NVIDIA #Robotics #Humanoids #ReinforcementLearning #SimToReal #UnitreeG1 #MuJoCo #AI #OpenSource #DevTools

📱Ссылка на репозиторий:
https://github.com/NVlabs/ProtoMotions