ImmerseGen: Agent-Guided Immersive World Generation with Alpha-Textured Proxies
Разработка ByteDance.
Создаёт 3D-миры по текстовым описаниям для виртуальной реальности. Сначала формируется базовая местность, а затем добавляются объекты.
Под капотом агенты, работающие на основе визуальных языковых моделей
Код ждем
#VR #vlm #text2scene #text2world
Разработка ByteDance.
Создаёт 3D-миры по текстовым описаниям для виртуальной реальности. Сначала формируется базовая местность, а затем добавляются объекты.
Под капотом агенты, работающие на основе визуальных языковых моделей
Код ждем
#VR #vlm #text2scene #text2world
👍9🤯6❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control
Система которая позволяет управлять генерацией видео движением рук в реальном времени. Модель учитывает положение головы и рук пользователя, что позволяет взаимодействовать с виртуальным миром более естественно.
Раньше модели видео-миров понимали только текст или ввод с клавиатуры. Теперь можно показать рукой "вон туда" и получить видео в том направлении.
Пока работает на VR-гарнитуре со скоростью 11 FPS. Пригодится для игр, симуляций и обучения.
Код ждем
#video #VR #realtime #world
Система которая позволяет управлять генерацией видео движением рук в реальном времени. Модель учитывает положение головы и рук пользователя, что позволяет взаимодействовать с виртуальным миром более естественно.
Раньше модели видео-миров понимали только текст или ввод с клавиатуры. Теперь можно показать рукой "вон туда" и получить видео в том направлении.
Пока работает на VR-гарнитуре со скоростью 11 FPS. Пригодится для игр, симуляций и обучения.
Код ждем
#video #VR #realtime #world
🔥10
Media is too big
VIEW IN TELEGRAM
CubeComposer: Spatio-Temporal Autoregressive 4K 360° Video Generation
Диффузионная модель от Tencent для генерации 4K 360° видео из перспективного видео без пожирания памяти, без лоурес-потом-апскейл
Представляет 360° видео как кубмап (6 граней), генерирует их авторегрессивно по пространству и времени — снижает память для нативного 4K.
Видеочасть на базе WAN 2.2, остальное - своя модель
Гитхаб
HF
#panorama #video2panorama #VR
Нейронавт в MAX 📲
Диффузионная модель от Tencent для генерации 4K 360° видео из перспективного видео без пожирания памяти, без лоурес-потом-апскейл
Представляет 360° видео как кубмап (6 граней), генерирует их авторегрессивно по пространству и времени — снижает память для нативного 4K.
Видеочасть на базе WAN 2.2, остальное - своя модель
Гитхаб
HF
#panorama #video2panorama #VR
Нейронавт в MAX 📲
👍7🤷♂2😱1
This media is not supported in your browser
VIEW IN TELEGRAM
CARLA-Air
Симуляция вождения и полётов дронов в одном процессе Unreal Engine
— работает без задержек и мостов между системами
— поддерживает до 18 типов сенсоров, которые работают синхронно в воздухе и на земле
— проверено трёхчасовой работой без сбоев
— скорость около 20 FPS при одновременной работе с транспортом и дроном
#simulation #UE #VR
Симуляция вождения и полётов дронов в одном процессе Unreal Engine
— работает без задержек и мостов между системами
— поддерживает до 18 типов сенсоров, которые работают синхронно в воздухе и на земле
— проверено трёхчасовой работой без сбоев
— скорость около 20 FPS при одновременной работе с транспортом и дроном
#simulation #UE #VR
MUA: Mobile Ultra-detailed Animatable Avatars
Ультрадетальные анимируемые аватары
Дистиллировали свою же модель UMA и получили производительность в 1000 раз выше, рилтайм на PC
Вход: скелетные позы, данные камеры.
Выход: детализированная геометрия, рендеры одетых людей с сохранением динамики одежды.
Работает в реальном времени: 24 FPS на Meta Quest 3, 72–90 FPS на RTX 3090.
Код ждем
#humanavatar #VR #realtime
Ультрадетальные анимируемые аватары
Дистиллировали свою же модель UMA и получили производительность в 1000 раз выше, рилтайм на PC
Вход: скелетные позы, данные камеры.
Выход: детализированная геометрия, рендеры одетых людей с сохранением динамики одежды.
Работает в реальном времени: 24 FPS на Meta Quest 3, 72–90 FPS на RTX 3090.
Код ждем
#humanavatar #VR #realtime
1👍6🔥4❤1
Muffins Flat 2 Panoramic Node
кастом пак для превращения обычных видео в панораманые, фишай и VR-180 видео - в основном через аутпейнтинг
воркфлоу платный
но есть
туториал
Спасибо @m_franz
#VR #video2VR #video2panorama #comfyui
кастом пак для превращения обычных видео в панораманые, фишай и VR-180 видео - в основном через аутпейнтинг
воркфлоу платный
но есть
туториал
Спасибо @m_franz
#VR #video2VR #video2panorama #comfyui
👍5
Vidu S2
Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке
S2-Avatar
720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает
S2-Editing
редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки
- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат
API
#realtime #interactive #streaming #videoediting #avatar #vr
VK | MAX
Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке
S2-Avatar
720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает
S2-Editing
редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки
- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат
API
#realtime #interactive #streaming #videoediting #avatar #vr
VK | MAX
👍5❤2⚡2😭2🫡1
Giro
Экспериментальный пайплайн: одна картинка на входе, готовый VR-сплат на выходе. Фото превращается в орбитальное видео, потом в обрезанный сплат, по которому можно ходить в VR.
• Орбита вокруг объекта через MiniMax H3, фото как первый и последний кадр
• Свой гейт проверки: минимум 330° облета, ровное движение, замкнутый цикл
• Плохой сид перебрасывается автоматически, пропущенная дуга до-генерируется
• Маскирование объекта через SAM 3.1 до COLMAP
• Опциональная правка фона через Qwen-Image-Edit
• Обучение с прозрачным фоном, обрезка по visual hull
• Экспорт SPZ, SOG, PLY под VR, кнопка View in VR
• Веб-UI с живым прогрессом и причинами каждого решения
• Нужны две видеокарты по 24 ГБ, Linux
• Экспорт ориентирован на бюджет Quest
#image2gaussian #vr #gaussian
MAX
Экспериментальный пайплайн: одна картинка на входе, готовый VR-сплат на выходе. Фото превращается в орбитальное видео, потом в обрезанный сплат, по которому можно ходить в VR.
• Орбита вокруг объекта через MiniMax H3, фото как первый и последний кадр
• Свой гейт проверки: минимум 330° облета, ровное движение, замкнутый цикл
• Плохой сид перебрасывается автоматически, пропущенная дуга до-генерируется
• Маскирование объекта через SAM 3.1 до COLMAP
• Опциональная правка фона через Qwen-Image-Edit
• Обучение с прозрачным фоном, обрезка по visual hull
• Экспорт SPZ, SOG, PLY под VR, кнопка View in VR
• Веб-UI с живым прогрессом и причинами каждого решения
• Нужны две видеокарты по 24 ГБ, Linux
• Экспорт ориентирован на бюджет Quest
#image2gaussian #vr #gaussian
MAX
👍11