EdenLive

Генеративная отрисовка видео в реальном времени

VAST выложили модель которая превращает черновой прокси-стрим в готовое видео

Что на входе
• Поток прокси из 2D или 3D сцены, игрового движка или записи
• Первый кадр и текстовый промпт
• Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку

Как устроено
• Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер
• Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим
• Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше
• Есть демо на несколько минут, 5B в 720p работает на одной карте

Что с весами
• Около 210 ГБ ‼️, все компоненты в одной папке
• Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая

huggingface.co/VAST-AI/EdenLive
github.com/VAST-AI-Research/EdenLive

#rendering #v2v #realtime