UrbanVerse: Scaling Urban Simulation by Watching City-Tour Videos

3D миры здорового человека робота

UrbanVerse преобразует реальные городские сцены из видеопрогулок по городам в интерактивные симуляционные среды с учётом физики. Это позволяет масштабировать обучение роботов в городских пространствах и улучшать их адаптацию к реальным условиям

Из некалиброваных видео извлекает семантические макеты.
На основе одного видео и макета генерирует несколько разнообразных цифровых сцен.

Ну и у них есть свой датасет UrbanVerse-100K для создания симуляций, основанных на реальных макетах

Код ждем

#videotoscene #videoto3d #video2world #world

Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations

Модель для работы с 3D-представлениями. Имитирует человеческий процесс обучения абстрактным понятиям.

Проще говоря, создает реконструкции 3D сцен по видео или облаку точек. Ну то есть на вход можно подать и готовую сцену на гауссианах .ply, и он должен ее улучшить.

Код
Демо

#reconstruction #video2scene #rendering #gaussian #videoto3d

IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction

Семантический реконструктор 3D сцен от StepFun и Ко.
#SOTA в 3D реконструкции и понимании сцен по 2D изображениям.

На вход принимает видео, набор изображений или RGBD

Сначала модель получает изображения и преобразует их в особый вид представления — токены. Для этого используется DINOv2. Потом эти токены обрабатываются 24 модулями внимания. Они анализируют изображения с разных точек зрения и объединяют информацию в единое представление.

Дальше это представление разделяется на два потока:

— один поток (Geometry Head) занимается геометрией: вычисляет параметры камеры, создаёт карты глубины и облака точек;

— другой поток (Instance Head) выделяет отдельные объекты в сцене, определяя их границы и особенности.

Чтобы лучше связать геометрию и объекты, используется специальный блок — Cross-Modal Fusion Block. Он помогает потоку с объектами «понимать» геометрию сцены, улучшая определение границ объектов. 1

Затем модель группирует найденные объекты в кластеры, используя метод HDBSCAN. Это позволяет создать маски, которые показывают, где в сцене находятся разные объекты. Эти маски можно использовать с разными языковыми моделями, чтобы задавать вопросы о сцене, сегментировать объекты или отслеживать их движение.

Код ждем

#video2scene #rgbd2scene #videoto3d #rgbdto3d #scenereconstruction

UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass

3D реконструкция сцены и человека по монокулярному видео за один проход

Определяет параметры камеры и SMPL (стандартной модели человеческого тела)

Гитхаб
HF
Демо еще не доделали

#HMR #video2scene #videoto3d

D4RT

День 4D реконструкций на Нейронавте продолжает Гугл с работой без кода.

D4RT превращает видео в 4D-реконструкцию, отслеживая движение объектов

Чем D4RT отличается от других моделей:

— работает быстрее аналогов — в 18–300 раз

— обрабатывает видео в реальном времени

— может отслеживать точки и предсказывать их траекторию в 3D, даже если объект исчезает из кадра

— создаёт полную 3D-структуру сцены без дополнительных шагов

— определяет положение камеры и её траекторию

— хорошо справляется с динамичными сценами и сложными движениями

#videoto3d #videoto4d #3d #4d #video2scene #tracking #research

MoRo: The official Pytorch code for MoRo: Masked Modeling for Human Motion Recovery Under Occlusions

Реконструкция движения человека по монокулярному видео, даже если человек частично скрыт из виду. Камера должна быть статичной.

Работает в реальном времени со скоростью 70 кадров в секунду на одном GPU H200

Гитхаб

#humanreconstruction #hpr #videoto3d #video2pose

LingBot-Map

Потоковая реконструкция сцен

— в одной системе работа с координатами, геометрия и коррекцию дрейфа

— обрабатывает около 20 кадров в секунду в разрешении 518×378

Гитхаб
HF

#scenereconstruction #realtime #streaming #videoto3d #vvideo2scene

COSMOS 3

Третья версия модели от Nvidia - мультимодальная

• восстанавливает 3D‑геометрию сцены из обычного видео
• строит детализированные облака точек
• отслеживает движение объектов в кадре
• работает с динамическими сценами (люди, транспорт и т. д.)

Использует диффузионные модели и нейросетевые методы. Обрабатывает длинные видеопоследовательности, сохраняет точность при сложных движениях.

https://huggingface.co/collections/nvidia/cosmos3

Спасибо @m_franz

#vlm #multimodal #videoto3d

Cosmos 3 Edge

Еще один релиз от NVIDIA, фронтир-модель мира для локального запуска. Для роботов, автопилотов, ИИ-агентов. Понимание сцен, предсказание намерений, действия по видео.

• 4B параметров, reasoner на 2B на базе Nemotron
• авторегрессионный и диффузионный transformer-блоки
• мультимодальное внимание, единый механизм для понимания и симуляции
• управление с частотой 15 Гц
• первое место в VANTAGE-Bench среди открытых моделей такого размера

HF

#mobile #robot #vlm #multimodal #videoto3d

EventEgoHands++ (Keio University)

Реконструкция 3D-модели кистей рук по данным event-камеры с точки зрения первого лица. Обычные камеры слепнут в темноте и от смаза при движении, event-камера фиксирует только изменения яркости — работает и в почти полной темноте

- Отдельный Hand Detector: различает левую и правую руку по-отдельности с bounding-box и масками
- Adaptive Attention: динамически гейтирует внимание по результатам детекции — моделирует взаимодействие и взаимное расположение двух рук
- Работает при плохом освещении и сильном смазе где RGB и depth пасуют
- Определяет сколько рук в кадре: одна две или ни одной

Гитхаб

#hands #videoto3d

VK | MAX