DreamX-World

Модель интерактивных миров с видеобэкбоуном на Wan2.2

• генерирует реалистичные и фантастические миры (городские, природные, архитектурные, sci‑fi и др.)
• вид от первого и третьего лица
• реагирует на промпты - меняет среду через событийные подсказки
• обеспечивает стабильное поведение камеры и согласованность сцены
• обучена на данных Unreal Engine, геймплее и реальных видео

Обещают выпустить длинную интерактивную рилтайм генерацию, AV-генерацию. То есть видимо на тяжелом WAN все это далеко не рилтайм пока

Гитхаб
HF - выпустили 5B. 14B ждем

#world #intereactive #text2world

Wan Streamer

Потоковая интерактивная дуплексная аудио-видео модель, ИИ-аватар, отвечающий в рилтайме. Закрывает разрыв между речью и анимацией аватара - всё в одном потоке. В базе в качестве LLM Qwen 2.5 / Qwen 3 - непонятно какая конкретно

• субсекундная задержка, 25 fps, 192p
• full-duplex режим
• синхронные мимика, взгляд, жесты, дыхание
• единая модель вместо раздельных VAD/ASR/TTS

Кода-весов нет

#avatar #intereactive

Wan-Streamer v0.2

Повысили разрешение с 192×336 до 640×368, сохранив скороость.

Для этого переработали архитектуру генератора латентных представлений для мульти-GPU

Расширили возможности визуального формата. Теперь работает не только с крупными планами, но и со сценами, где важна общая картина взаимодействия

Кода и весов по прежнему нет

#avatar #intereactive #realtime #streaming #research

Wan-Streamer v0.3

Новая версия интерактивного аудио-видео-генератора

Отличия v0.3 от v0.2:

• v0.3 более универсальная модель, с более выразительным поведением агента
• в v0.3 добавлено свободное поведение и действия, описываемые естественным языком
• разрешение и скорость прежние: 640×368, 25 fps
• v0.3 использует предварительное обучение на видео с последующим адаптацией к взаимодействию, тогда как v0.2 фокусировалась на данных взаимодействия
• новая версия позволяет смешивать речь и действия в одной временной последовательности, их синхронизация учится вместе и генерируется напрямую

И по-прежнему неизвестно будет ли опенсорс

Спасибо @m_franz

#avatar #intereactive #realtime #streaming #research