ABot-World

Генератор интерактивных миров, работает на потребительских GPU с бесконечной генерацией в рилтайме

Гитхаб
HF
Демо
Студия

Спасибо @m_franz

#intecative #realtime #text2world #world #image2world

MIRA

Rocket League на игровой миодели мира от kyutai и Epic Games. Стабильная генерация синхронного геймплея для нескольких игроков

Можете не верить, но эта штука реально играбельна!

• мультиплеер на 4 участника, человек или модель
• одновременная генерация нескольких точек зрения, минимум артефактов
• модель может играть сама с собой до суток без сбоев при контексте 4 секунды

Гитхаб
Демо

#game #interactive #world

Опубликован в опенсорс интерактивный генератор миров AlayaWorld

В базе - LTX-2.3

Гитхаб
HF
Демо

#world #text2world #imagw2world #interactive #realtime

Marionette

Игровая модель мира от Alaya Lab. Учится предсказывать что будет дальше в сцене но не рисует все подряд нейросетью - геометрию считает формулой, а ИИ доверяет только внешний вид. Поэтому персонажи не рассыпаются на долгих роликах.

• Основа внешности - Wan2.2-Fun-5B-Control, VideoX-Fun
• Генерация игрового мира по одному референс-кадру и паре стартовых поз
• Управление действиями персонажа
• Прямое задание траектории - развороты, направление и скорость ходьбы

• Качество кадра на уровне пиксельных моделей, но с реальной управляемостью
• Пока косячит на долгих прогонах - персонажи уходят за край карты, внешность плывёт

Гитхаб
HF
Демо

#world #interactive

VK | MAX

Solaris

Генеративный интерфейс от Runway: приложение рендерится на лету. Каждый кадр генерируется при взаимодействии. Интерфейс реагирует на действия без заранее прописанных страниц и кнопок

- Интерфейс = картинка: клики и перетаскивания влияют на следующий кадр, никакого промежуточного кода между задумкой и экраном
- Живая сцена: отражения меняются со светом, объекты реагируют на манипуляции
- Открытые поведения: клик по коту красит в его текстуру, клик по картине включает еt стиль — что можно сделать, решает модель, а не разработчик
- Дешевле и быстрее обычных видео-моделей: кадры идут по одному, денойз дистиллирован до нескольких шагов

- 720p, рилтайм
- Построена на Gen-4.5 видео-модели Runway
- LLM + world model

Runway окрестили свое детище Interface World Model — модель мира интерфейсов

Можно поклянчить ранний доступ для компании

Спасибо @Endorpheen

#interface #world #realtime

Atlas

Новая модель мира от World Labs для пространственного интеллекта. Предобучена с нуля работать сразу с текстом, изображениями, видео и 3D в общем пространственном контексте: по всему увиденному генерирует что будет дальше и держит сцену согласованной в 3D.

• генерация с управлением камерой - видео из одного или нескольких снимков с точным заданием ракурса
• реконструкция сцен - из нескольких фото восстанавливает новые ракурсы и явную 3D-геометрию, обходя специализированные модели реконструкции
• симуляция пространства и времени - перекадрирует видео и готовит данные для робототехники по принципу реального в симуляцию
• генерация изображений - текст в картинку и в 360-панораму, сложные промпты, рендер текста, разные стили

• видео до 1 минуты при 1440p
• реконструкция по 1-100+ входным изображениям

Поклянчить ранний доступ

#world #image2world #gaussian

SolarWM

Открытый фреймворк для обучения интерактивных видеомоделей мира

- Обучение на 5-сек клипах, но модель держит длинные роллауты
- Единый фреймворк на 4 бэкбонах: Wan 5B, Wan 14B, LTX-2.5, MiniMax-H3 — выбирай архитектуру
- Полностью открытый датасет: 1.43M клипов, 25 ТБ, с калибровкой камеры и фильтрацией
- Открытый стек: данные, код обучения, веса, препроцессинг

Гитхаб
HF

#world #training #dataset #intereactive

VK | MAX

GWM Worlds 2

Исследовательская модель мира от Runway
Генерирует интерактивный 3D-мир в реальном времени со звуком, сменой дня и ночи, погодой и текстовыми командами

- Мир в реальном времени: можно ходить от первого лица, управлять камерой, взаимодействовать с окружением
- Мир меняется по текстовым командам, при этом другой игрок продолжает исследовать
- 720p, 24 fps, со звуком

#interactive #world

VK | MAX

Puffin-World

Мультимодальная модель мира

Видит, симулирует и строит 3D-мир в одном фреймворке. По одной картинке + траектории камеры генерирует новые кадры с глубиной и собирает их в 3D-реконструкцию. Физика, геометрия и внешний вид моделируются вместе а не по отдельности

- Одно фото → понимание камеры и мира: ролл, питч, поле зрения, направление гравитации
- Камера-контролируемая генерация: задаtшь траекторию — получаешь новые ракурсы
- RGB-D генерация по траектории и прямая сборка в 3D облако точек
- Физика как часть модели: гравитация и широта привязывают сгенерированные виды к реальному миру - кадры не плавают за горизонт
- модель может исследовать сцену и самокалиброваться

- Пока только статичные сцены

Гитхаб
HF

#world #multimodal #simulation

Programmable World Model (Alaya Lab)

Программируемая модель мира

Состояние мира существует отдельно от картинки как код, а не как тень в истории кадров. Раньше видеомодель сама хранила все неявно: объект ушел из кадра - забыла, правила не выражались. Теперь мир - это явные данные, а видео просто их рисует.

- Агент пишет правила мира кодом: где объекты, как двигаются, какие события происходят
- Движок состояний следит за сущностями даже за кадром — повернул камеру, а они на месте
- Детерминированный компилятор превращает состояние в управляющие сигналы для видеогенератора — модель не «вспоминает» мир, а рендерит его
- Мир описывается по одному референсу и тексту — VLM-агент собирает всю спецификацию

Результат: объекты не забываются, правила исполняются точно, 897 кадров без распада, разные миры на одном движке

Прошли по кругу и вернулись к 3D моделированию, но с лишними шагами

Гитхаб ждем

#world

GAE от Tencent ARC и HKUST

Геометрический автоэнкодер для генерации миров. Сжимает 3072-канальные геометрические признаки в компактные 128 каналов, из которых декодируются RGB, глубина, траектории камеры и облака точек. Не достраивает геометрию постфактум, а кладет еt внутрь генерируемого латента

• из одного латента - картинка, глубина, позы камеры и 3D одновременно
• управляемый flow matching - текст, референс-кадр и метрические лучи камеры
• обзорные сцены с перемещением камеры, indoor и outdoor
• text-to-image с генерацией 3D-геометрии по одному промпту

• 1B параметров

Латентное пространство работает как общий интерфейс между восприятием и генерацией - один латент, четыре связанных выхода

Гитхаб
HF

#world #vae

MAX

Agora-2 от Odyssey

Мультиагентная мировая модель. Генерирует общий интерактивный мир в реальном времени для до 20 участников - людей и ИИ-агентов одновременно. В пять раз больше, чем Agora-1, и уже не одна среда, а несколько
Odyssey-3 симулирует опыт одного участника, Agora-2 - общий мир с взаимодействием

• каждый участник видит симуляцию со своей точки зрения
• действия всех влияют на общее состояние мира
• сущность сохраняет свойства даже вне кадра - не пересобирается при возврате
• агенты обучаются RL - преследовать, обходить препятствия, подниматься

• тренировали на записях Diablo II от Blizzard - как игровой движок наоборот
• реальное время через потоковые пиксели
• рендер через flow matching со сбросом визуальной истории

Попробовать - на кнопку атаки реагирует очень вяло. посреди игры у меня перестала обновляться картинка. Карта работала, побегал немного следя за происходящим по точкам персонажей на карте. Умер

Как proof-of-concept - вполне уже убедительно. А так-то мы и в 90-x играли в диабло, и там гораздо интереснее все было, и игра летала на i386 не требуя B200 и 200 ГБ VRAM

Спасибо @Endorpheen

#world #interactive #gaming

MAX

World Observer

Проблема видеомиров — объект при возврате теряется, замирает или превращается в «импостора». Решение — разделить наблюдение и действие

Метод от KAIST для видеомиров: когда объект уходит из кадра «актера», панорамные обсерверы продолжают за ним следить, и при возврате объект сохраняет состояние и динамику.

• Актер-вид генерируется вместе с панорамными обсерверами (наблюдателями)
• Объекты, ушедшие из кадра, продолжают эволюционировать в обсервере
• Обсерверы ставятся где хочешь — не привязаны к актёру
• Несколько обсерверов для полного покрытия сцены
• Раздельный промпт у обсервера — текст рулит событиями за кадром
• При возврате объекта восстанавливается его детальный вид

• Обсервер рендерится в гибком разрешении и с низкими требованиями
• Обучение на реальных панорамах + синтетика CARLA
• Работает на видео-DiT в одной токен-последовательности

Код ждем

#world #research

Odyssey-3 уже можно попробовать (через квн)
Писал о нем в сентябре

Но на многое хоть что-нибудь не рассчитывайте
Даже начеррипиканые миры работают через пень-колоду, а свой создать - вообще ничего не шевелится

#world #interactive #agent

MAX