L-MAGIC: Language Model Assisted Generation of Images with Coherence

Генератор 360-градусных панорам от Intel Labs. Под капотом LLM для составления промпта.
На вход умеет принимать разные исходные данные: картинка, набросок, текстовое описание

Код
Демо ждем

#image2panorama #sketch2image #sketch2panorama #text2panorama

HunyuanWorld-1.0

"Первый опенсорсный генератор 3D миров, полностью совместимый с графическими пайплайнами"

Создает сцены и 360-градусные панорамы по тексту и по картинке.

В основе работы модели - алгоритм представления и генерации 3D-сцен с семантической иерархией.

В интерактивной демке панорамы на сайте проекта при попытке погулять в генерации очень быстро наталкиваешься на границу, за которую не пускают, как будто там не честное 3D, а картинка натянутая на карту глубины. Так что не вижу в чем он тут "первый", разве что в том что опенсорс. Ну да ладно, это первое впечатление.

Предлагают использовать в VR, геймдеве, физической симуляции, задачах с взаимодействием с объектами

Код
Веса
Попробовать - вход через WeChat. Я залогинился, но дальше сайт не прогружается

Спасибо @iNevestenko

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world

3D сцены HunyuanWorld 1.0 полностью редактируемые
(ну они так и написали - совместимые с 3D пайплайнами)

Можно попробовать запустить его в Google Colab Pro (нужно 22ГБ VRAM)

Jupiter / Colab

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world

HYWorld-1.5

Tencent обновил генератор миров HunyuanWorld

— от первого и от третьего лица

— умеет в 3D-реконструкцию и стилизацию

— запускает события по текстовому запросу

— контролирует действия с высокой точностью

Пробовать на офсайте
Гитхаб
HF

#text2world #image2world #text2panorama #image2panorama #360 #text2scene #image2scene #world #realtime

360Anything: Geometry-Free Lifting of Images and Videos to 360°

Работа от Гугл без кода - преобразование обычных изображений и видео в 360-градусные панорамы без использования данных о камере или 3D-информации

А прогоняя материал через эту модель, они делают реконструкцию 3д сцены гауссианами и получают лучший результат

Спасибо @m_franz

#panorama #video2panorama #image2panorama #video2scene #research