UrbanVerse: Scaling Urban Simulation by Watching City-Tour Videos

3D миры здорового человека робота

UrbanVerse преобразует реальные городские сцены из видеопрогулок по городам в интерактивные симуляционные среды с учётом физики. Это позволяет масштабировать обучение роботов в городских пространствах и улучшать их адаптацию к реальным условиям

Из некалиброваных видео извлекает семантические макеты.
На основе одного видео и макета генерирует несколько разнообразных цифровых сцен.

Ну и у них есть свой датасет UrbanVerse-100K для создания симуляций, основанных на реальных макетах

Код ждем

#videotoscene #videoto3d #video2world #world

NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos

Реконструкция 4D миров на гауссианах из моно видео

— генерирует видео с новыми ракурсами и движениями камеры

— помогает в 3D-трекинге, стабилизации видео, его редактировании и улучшении разрешения

— может делать аутпейнтинг — расширять видимую область сцены

Гитхаб код ждем

#video2world #novelview #cameracontrol #videoto4d #gaussian #video2scene