L-MAGIC: Language Model Assisted Generation of Images with Coherence

Генератор 360-градусных панорам от Intel Labs. Под капотом LLM для составления промпта.
На вход умеет принимать разные исходные данные: картинка, набросок, текстовое описание

Код
Демо ждем

#image2panorama #sketch2image #sketch2panorama #text2panorama

HunyuanWorld-1.0

"Первый опенсорсный генератор 3D миров, полностью совместимый с графическими пайплайнами"

Создает сцены и 360-градусные панорамы по тексту и по картинке.

В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.

В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.

Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами

Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается

Спасибо @iNevestenko

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world

3D сцены HunyuanWorld 1.0 полностью редактируемые
(ну они так и написали - совместимые с 3D пайплайнами)

Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)

Jupiter / Colab

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world

DreamCube: 3D Panorama Generation via Multi-plane Synchronization

Генератор 3D-панорам. Использует технологию Multi-plane Synchronization.
На выходе - куб с натянутыми текстурами, глубиной

Рработает с разными 2D моделями (SDXL, Marigold, VideoCrafter2)

Код
HF
Инструкция по установке (реддит)

#text2image #text2panorama #panorama #rgbd

DiT360: High-Fidelity Panoramic Image Generation via Hybrid Training

Модель для создания реалистичных панорамных изображений на базе Flux с лорой

— улучшает качество существующих панорам за счёт устранения артефактов и искажений в полярных областях

— использует перспективные изображения для обогащения панорамного контента и повышения фотореализма

— обеспечивает согласованность границ и устраняет искажения в полярных регионах

— делает инпейнтинг и аутпейнтинг без дополнительного обучения

— использует несколько механизмов для контроля геометрии и искажения в латентном пространстве

Код
Демо

#panorama #text2panorama #text2image

HYWorld-1.5

Tencent обновил генератор миров HunyuanWorld

— от первого и от третьего лица

— умеет в 3D-реконструкцию и стилизацию

— запускает события по текстовому запросу

— контролирует действия с высокой точностью

Пробовать на офсайте
Гитхаб
HF

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world #realtime