This media is not supported in your browser
VIEW IN TELEGRAM
Cosmos-Transfer1: World Generation with Adaptive Multimodal Control
Nvidia выпустили версию своего генератора миров (видео) для кондиционной генерации на основе множества входных данных в различных модальностях, таких как сегментация, карты глубины и контуры (edge)
Гитхаб
#text2video #image2video #simulation #text2world #image2world #segmentation2video #depth2video #mask2video #edge2video
Nvidia выпустили версию своего генератора миров (видео) для кондиционной генерации на основе множества входных данных в различных модальностях, таких как сегментация, карты глубины и контуры (edge)
Гитхаб
#text2video #image2video #simulation #text2world #image2world #segmentation2video #depth2video #mask2video #edge2video
👍3🔥2🤔1
WORLDMEM: Long-term Consistent World Simulation with Memory
Очередная бродилка по генеративным игровым мирам. Но на этот раз с памятью. Он запоминает где что было, уходите, возвращаетесь - все на месте. С реалистичными сценами тоже работает. И даже демка есть. Есть и минус, она не интерактивная, действия вводятся промптом перед генерацией
Код
Демо
#gaming #image2world
Очередная бродилка по генеративным игровым мирам. Но на этот раз с памятью. Он запоминает где что было, уходите, возвращаетесь - все на месте. С реалистичными сценами тоже работает. И даже демка есть. Есть и минус, она не интерактивная, действия вводятся промптом перед генерацией
Код
Демо
#gaming #image2world
👍4❤2
Media is too big
VIEW IN TELEGRAM
PlayerOne: Egocentric World Simulator
Симулятор реалистичных видео с точки зрения пользователя, основываясь на его движениях и сцене вокруг. Обучен на большом количестве данных и умеет точно моделировать мир. От Alibaba & co
Код ждем
#text2video #image2video #simulation #text2world #image2world #POV
Симулятор реалистичных видео с точки зрения пользователя, основываясь на его движениях и сцене вокруг. Обучен на большом количестве данных и умеет точно моделировать мир. От Alibaba & co
Код ждем
#text2video #image2video #simulation #text2world #image2world #POV
👍5
HunyuanWorld-1.0
Создает сцены и 360-градусные панорамы по тексту и по картинке.
В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.
В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.
Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами
Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается
Спасибо @iNevestenko
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
"Первый опенсорсный генератор 3D миров, полностью совместимый с графическими пайплайнами"
Создает сцены и 360-градусные панорамы по тексту и по картинке.
В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.
В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.
Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами
Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается
Спасибо @iNevestenko
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
👍10⚡2❤1😱1
3D сцены HunyuanWorld 1.0 полностью редактируемые
(ну они так и написали - совместимые с 3D пайплайнами)
Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)
Jupiter / Colab
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
(ну они так и написали - совместимые с 3D пайплайнами)
Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)
Jupiter / Colab
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
👍7🔥2
Matrix-Game 2.0: An Open-Source, Real-Time, and Streaming Interactive World Model
Вторая версия интерактивного генератора игровых миров от Skywork
Работает в реальном времени, 25 fps на A100 / H100, 24ГБ VRAM. Управление клавиатурой и мышью.
Опенсоросный ответ Genie 3
Основан на WanX, но без текстовой ветки, предсказывает следующие кадры только на основе визуала и действий.
Моделирует динамику сцен и создавать длительные видео
Код
HF
#image2world #image2game #realtime
Вторая версия интерактивного генератора игровых миров от Skywork
Работает в реальном времени, 25 fps на A100 / H100, 24ГБ VRAM. Управление клавиатурой и мышью.
Опенсоросный ответ Genie 3
Основан на WanX, но без текстовой ветки, предсказывает следующие кадры только на основе визуала и действий.
Моделирует динамику сцен и создавать длительные видео
Код
HF
#image2world #image2game #realtime
🔥5👍4👎2👨💻1
Hunyuan World Model 1.0-Lite
Облегченная версия генератора 3D миров HunyuanWorld-1.0
Требования к VRAM снизили с 26 до 17 ГБ благодаря FP8-квантованию. Ну могли бы и до 16 уж дотянуть🤩
SageAttention уже прикручен.
Гитхаб
Hugging Face
Демо
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
Облегченная версия генератора 3D миров HunyuanWorld-1.0
Требования к VRAM снизили с 26 до 17 ГБ благодаря FP8-квантованию. Ну могли бы и до 16 уж дотянуть
SageAttention уже прикручен.
Гитхаб
Hugging Face
Демо
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤1😁1
Context as Memory: Scene-Consistent Interactive Long Video Generation with Memory Retrieval
Генератор интерактивных длинных видео с сохранением согласованности сцены. Иначе говоря, генератор игровых миров с хорошей памятью что где стояло. Про интерактивное управление речь не идет, но видимо предполагается использование в интерактивных системах (умничаю. В играх). Траектория камеры задается прямо координатами, а не размытыми направо-налево.
Умеет генерировать сцены по одной картинке
Код ждем
#text2world #image2world #image2video
Генератор интерактивных длинных видео с сохранением согласованности сцены. Иначе говоря, генератор игровых миров с хорошей памятью что где стояло. Про интерактивное управление речь не идет, но видимо предполагается использование в интерактивных системах (умничаю. В играх). Траектория камеры задается прямо координатами, а не размытыми направо-налево.
Умеет генерировать сцены по одной картинке
Код ждем
#text2world #image2world #image2video
👍7❤2
marble
Генератор миров по картинке и по тексту от worldlabs.ai
По тексту - сначала генерит картинку
Работает на гауссианах. По сути это генератор 3D сцен на гауссианах под соусом навигабельных миров.
Есть две модели: Marble 01-mini и Marble 01-Plus. Вторая качественнее, медленнее и впятеро дороже по кредитам. Но все генерации сейчас бесплатные
Работает в том числе и на VR гарниртурах
Можно экспортировать сцену в файл.
Говорят что доступ через вейтлист но я свободно зашел и нагенерил немножко, см второе видео
Попробовать
#image2world #image2scene #gaussian #world
Генератор миров по картинке и по тексту от worldlabs.ai
По тексту - сначала генерит картинку
Работает на гауссианах. По сути это генератор 3D сцен на гауссианах под соусом навигабельных миров.
Есть две модели: Marble 01-mini и Marble 01-Plus. Вторая качественнее, медленнее и впятеро дороже по кредитам. Но все генерации сейчас бесплатные
Работает в том числе и на VR гарниртурах
Можно экспортировать сцену в файл.
Говорят что доступ через вейтлист но я свободно зашел и нагенерил немножко, см второе видео
Попробовать
#image2world #image2scene #gaussian #world
👍13👎3❤1
Очередная демка генератора миров. Попробовал. Возможности передвижения очень ограниченные, вверх-вниз нельзя, по горизонтали очень быстро упираешься в стену. Ну такое
#world #image2world
#world #image2world
WonderZoom: Multi-Scale 3D World Generation
Генерация 3D-миров с детальностью в разных масштабах из одного изображения,
Под капотом scale-adaptive Gaussian surfels (адаптивные к масштабу гауссовы серфели) - динамически обновляемые штуки.
Мало того что можно зумиться в картинку в 3D, так еще и можно промптом редактировать ее на каждом уровне масштаба.
На сайте есть интерактивный глючный вьюер с WASD навигацией, мне не удалось его завести
Код ждем
#image2world #world #image2scene #imageediting #upscale
Генерация 3D-миров с детальностью в разных масштабах из одного изображения,
Под капотом scale-adaptive Gaussian surfels (адаптивные к масштабу гауссовы серфели) - динамически обновляемые штуки.
Мало того что можно зумиться в картинку в 3D, так еще и можно промптом редактировать ее на каждом уровне масштаба.
На сайте есть интерактивный глючный вьюер с WASD навигацией, мне не удалось его завести
Код ждем
#image2world #world #image2scene #imageediting #upscale
🔥12❤3🤯3
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
HYWorld-1.5
Tencent обновил генератор миров HunyuanWorld
— от первого и от третьего лица
— умеет в 3D-реконструкцию и стилизацию
— запускает события по текстовому запросу
— контролирует действия с высокой точностью
Пробовать на офсайте
Гитхаб
HF
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world #realtime
Tencent обновил генератор миров HunyuanWorld
— от первого и от третьего лица
— умеет в 3D-реконструкцию и стилизацию
— запускает события по текстовому запросу
— контролирует действия с высокой точностью
Пробовать на офсайте
Гитхаб
HF
#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world #realtime
10🔥10❤3👍3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
HY-World 1.5
Обновился генератор миров от Tencent.
Номер версии не пострадал.
Релизнули WorldPlay-5B на базе WAN
Релизнули код обучения WorldPlay-8B на базе HY Video, можно обучать свои миры
Код инференса получил поддержку квантизации и оптимизацию
Гитхаб
Попробовать на олфсайте - говорят что попробовать могут теперь все без очереди
#text2world #image2world #text2panorama #image2panorama #panorama360 #text2scene #image2scene #world #realtime #finetuning
Обновился генератор миров от Tencent.
Номер версии не пострадал.
Релизнули WorldPlay-5B на базе WAN
Релизнули код обучения WorldPlay-8B на базе HY Video, можно обучать свои миры
Код инференса получил поддержку квантизации и оптимизацию
Гитхаб
Попробовать на олфсайте - говорят что попробовать могут теперь все без очереди
#text2world #image2world #text2panorama #image2panorama #panorama360 #text2scene #image2scene #world #realtime #finetuning
👍9🔥5
AnchorWeave: World-Consistent Video Generation with Retrieved Local Spatial Memories
Видеогенератор с глобальной согласованностью пространста в длинных видео на базе Wan2.2 5B
использует не одно глобальное представление сцены, а несколько локальных геометрических «памяток». Это помогает избежать проблем с несовпадением видов и улучшает качество генерации
Чтото среднее между моделями интерактивных миров и видеогенератором получается
Гитхаб - выложили CogVideoX. WAN ждем
#image2video #image2world
Видеогенератор с глобальной согласованностью пространста в длинных видео на базе Wan2.2 5B
использует не одно глобальное представление сцены, а несколько локальных геометрических «памяток». Это помогает избежать проблем с несовпадением видов и улучшает качество генерации
Чтото среднее между моделями интерактивных миров и видеогенератором получается
Гитхаб - выложили CogVideoX. WAN ждем
#image2video #image2world
🔥7👍4❤1
InSpatio-WorldFM
Генератор 3D миров в реальном времени
В отличие от миро-видеогенераторов, думает в 3D и тем сохраняет консистентность
Создает интерактивные миры по одному фото, по текстовому описанию
Рилтайм не на какихто там H100, а на всего лишь 4090
Ну это на словах. На деле в демо проходишь пару шагов и упираешься в невидимую стену
Гитхаб
HF
Демо
#world #text2world #image2world
Нейронавт в MAX 📲
Генератор 3D миров в реальном времени
В отличие от миро-видеогенераторов, думает в 3D и тем сохраняет консистентность
Создает интерактивные миры по одному фото, по текстовому описанию
Рилтайм не на какихто там H100, а на всего лишь 4090
Ну это на словах. На деле в демо проходишь пару шагов и упираешься в невидимую стену
Гитхаб
HF
Демо
#world #text2world #image2world
Нейронавт в MAX 📲
👍10👎3😁2❤1
Marble 1.1 / Marble 1.1 Plus
World Labs выпустили обновлённые модели для генерации 3D-миров с последующим редактированием. Модели поумнели, интерфейс стал удобнее
Marble 1.1 — новая базовая модель с улучшенным качеством генерации
Marble 1.1 Plus создаёт более масштабные миры, автоматически расширяя пространство при возможности
Улучшения: новый селектор моделей, визуальные и технические доработки страницы активов, упрощённый доступ к расширенному редактированию.
Marble 1.1 — 1500 кредитов за мир
Marble 1.1 Plus — 1500 базовых кредитов + 300 за каждый дополнительный «динамический куб»
Пробовать тут
Тут есть целая студия где можно анимировать камеру, импортировать сплаты.
Закинул туда свою старую генрацию из флюкса с промптом
Весело но пока качество не радует. Есть видеоэнхенсер но он в платной подписке
#text2world #image2world #2d2world #world
World Labs выпустили обновлённые модели для генерации 3D-миров с последующим редактированием. Модели поумнели, интерфейс стал удобнее
Marble 1.1 — новая базовая модель с улучшенным качеством генерации
Marble 1.1 Plus создаёт более масштабные миры, автоматически расширяя пространство при возможности
Улучшения: новый селектор моделей, визуальные и технические доработки страницы активов, упрощённый доступ к расширенному редактированию.
Marble 1.1 — 1500 кредитов за мир
Marble 1.1 Plus — 1500 базовых кредитов + 300 за каждый дополнительный «динамический куб»
Пробовать тут
Тут есть целая студия где можно анимировать камеру, импортировать сплаты.
Закинул туда свою старую генрацию из флюкса с промптом
Весело но пока качество не радует. Есть видеоэнхенсер но он в платной подписке
#text2world #image2world #2d2world #world
👍3
Lyra 2.0
Генератор 3D-миров из одного изображения от NVIDIA на базе WAN-14B
Миры стабильные, их можно исследовать
— генерирует видео с имитацией прогулки по сцене
— преобразует видео в 3D через прямую реконструкцию
— позволяет планировать траектории камеры и исследовать сцены
— решает проблемы «забывания» деталей и «сдвига» во времени при генерации длинных видео;
— экспортирует сцены в физические движки, например, в NVIDIA Isaac Sim
Гитхаб
HF
Спасибо @Endorpheen
#image2world #3d #world #wan
Генератор 3D-миров из одного изображения от NVIDIA на базе WAN-14B
Миры стабильные, их можно исследовать
— генерирует видео с имитацией прогулки по сцене
— преобразует видео в 3D через прямую реконструкцию
— позволяет планировать траектории камеры и исследовать сцены
— решает проблемы «забывания» деталей и «сдвига» во времени при генерации длинных видео;
— экспортирует сцены в физические движки, например, в NVIDIA Isaac Sim
Гитхаб
HF
Спасибо @Endorpheen
#image2world #3d #world #wan
🔥6👍5
Sana-WM
Генератор управляемых видеомиров от NVIDIA с 2,6 млрд параметров. Генерирует видео в 720p длительностью до минуты на одном GPU по картинке и траектории камеры
github.com/NVlabs/Sana
#world #cameracontrol #image2world
Генератор управляемых видеомиров от NVIDIA с 2,6 млрд параметров. Генерирует видео в 720p длительностью до минуты на одном GPU по картинке и траектории камеры
github.com/NVlabs/Sana
#world #cameracontrol #image2world
👍5🔥3
Media is too big
VIEW IN TELEGRAM
ABot-World
Генератор интерактивных миров, работает на потребительских GPU с бесконечной генерацией в рилтайме
Гитхаб
HF
Демо
Студия
Спасибо @m_franz
#intecative #realtime #text2world #world #image2world
Генератор интерактивных миров, работает на потребительских GPU с бесконечной генерацией в рилтайме
Гитхаб
HF
Демо
Студия
Спасибо @m_franz
#intecative #realtime #text2world #world #image2world
👍12
Media is too big
VIEW IN TELEGRAM
Atlas
Новая модель мира от World Labs для пространственного интеллекта. Предобучена с нуля работать сразу с текстом, изображениями, видео и 3D в общем пространственном контексте: по всему увиденному генерирует что будет дальше и держит сцену согласованной в 3D.
• генерация с управлением камерой - видео из одного или нескольких снимков с точным заданием ракурса
• реконструкция сцен - из нескольких фото восстанавливает новые ракурсы и явную 3D-геометрию, обходя специализированные модели реконструкции
• симуляция пространства и времени - перекадрирует видео и готовит данные для робототехники по принципу реального в симуляцию
• генерация изображений - текст в картинку и в 360-панораму, сложные промпты, рендер текста, разные стили
• видео до 1 минуты при 1440p
• реконструкция по 1-100+ входным изображениям
Поклянчить ранний доступ
#world #image2world #gaussian
Новая модель мира от World Labs для пространственного интеллекта. Предобучена с нуля работать сразу с текстом, изображениями, видео и 3D в общем пространственном контексте: по всему увиденному генерирует что будет дальше и держит сцену согласованной в 3D.
• генерация с управлением камерой - видео из одного или нескольких снимков с точным заданием ракурса
• реконструкция сцен - из нескольких фото восстанавливает новые ракурсы и явную 3D-геометрию, обходя специализированные модели реконструкции
• симуляция пространства и времени - перекадрирует видео и готовит данные для робототехники по принципу реального в симуляцию
• генерация изображений - текст в картинку и в 360-панораму, сложные промпты, рендер текста, разные стили
• видео до 1 минуты при 1440p
• реконструкция по 1-100+ входным изображениям
Поклянчить ранний доступ
#world #image2world #gaussian
🔥9👍1