DreamX-Creator
Исследовательский фреймворк для нативной генерации видео со звуком в 2K. Первый кадр + текстовый промпт - модель генерирует видео и аудио совместно. Развитие идей Wan и OpenMOSS
- Gated Cross-Modal Attention: видео и аудиопотоки обмениваются информацией в обе стороны
- Финальный апскейл до 2K в один шаг сохраняет движение и тайминг звука
- Развитие идей Wan Team и OpenMOSS (MOVA)
- Ещё не для продакшена: веса, код инференса и инструменты оценки обещают позже
Код / веса ждем
#va #t2va #2k #i2va
VK | MAX
Исследовательский фреймворк для нативной генерации видео со звуком в 2K. Первый кадр + текстовый промпт - модель генерирует видео и аудио совместно. Развитие идей Wan и OpenMOSS
- Gated Cross-Modal Attention: видео и аудиопотоки обмениваются информацией в обе стороны
- Финальный апскейл до 2K в один шаг сохраняет движение и тайминг звука
- Развитие идей Wan Team и OpenMOSS (MOVA)
- Ещё не для продакшена: веса, код инференса и инструменты оценки обещают позже
Код / веса ждем
#va #t2va #2k #i2va
VK | MAX
👍6👀3🔥1
HyperFlow от Video Rebirth
Ускоритель #MiniMaxH3. #LoRA, полученная data-free self-distillation: модель сама генерирует кандидаты-видео, фильтрует качество и дистиллирует из прошедших отбор. Без внешних данных и человеческой разметки
• 8 шагов вместо 49 у стандартного
• ускорение примерно в 3 раза
• контроль камеры, консистентность, материалы и детализация - "лучше базовой модели"
• работает на официальном diffusers Modular Pipeline
• LoRA 2.8 ГБ, rank 256
• три workflow: #t2va #fl2va и #ref2va, все с видео и звуком
• до 4 GPU с Ulysses-параллелизмом
• поддержка NVIDIA Sol-Attn - до 13% быстрее на H200
Гитхаб
HF
ComfyUI
Спасибо @m_franz
#optimization #comfyui
MAX
Ускоритель #MiniMaxH3. #LoRA, полученная data-free self-distillation: модель сама генерирует кандидаты-видео, фильтрует качество и дистиллирует из прошедших отбор. Без внешних данных и человеческой разметки
• 8 шагов вместо 49 у стандартного
• ускорение примерно в 3 раза
• контроль камеры, консистентность, материалы и детализация - "лучше базовой модели"
• работает на официальном diffusers Modular Pipeline
• LoRA 2.8 ГБ, rank 256
• три workflow: #t2va #fl2va и #ref2va, все с видео и звуком
• до 4 GPU с Ulysses-параллелизмом
• поддержка NVIDIA Sol-Attn - до 13% быстрее на H200
Гитхаб
HF
ComfyUI
Спасибо @m_franz
#optimization #comfyui
MAX
👍10🤔3😁2❤1🔥1😱1
Media is too big
VIEW IN TELEGRAM
Veda от ByteDance, HKU и USTC
Разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы - на 90-95% тратится меньше вычислений при почти незаметной разнице
• 90% разреженность на уровне полного attention по человеческим оценкам
• топ-k пропуск тайлов - внимание масштабируется почти линейно, а не O(N²)
• головы и слои получают свои формы тайлов - локальные и дальние зависимости
• дистилляция от полного attention через KL - до бинаризации маски
• 720P 241 кадр: 19.4 мин до 3.8 мин, ускорение 5.1x
• per-layer attention 10.5x быстрее FlashAttention-3
• 90% sparsity на WaverBench1.0 не проигрывает dense (50% против 49%)
Связка под #MiniMaxH3 #T2VA: Ускорение до 2.76x end-to-end на RTX 4090
Гитхаб
HF
Спасибо @m_franz
#optimization
Разреженное внимание для видео-диффузии, которое не ломает качество. Полный attention учит предиктор выбирать только нужные 128-токенные тайлы - на 90-95% тратится меньше вычислений при почти незаметной разнице
• 90% разреженность на уровне полного attention по человеческим оценкам
• топ-k пропуск тайлов - внимание масштабируется почти линейно, а не O(N²)
• головы и слои получают свои формы тайлов - локальные и дальние зависимости
• дистилляция от полного attention через KL - до бинаризации маски
• 720P 241 кадр: 19.4 мин до 3.8 мин, ускорение 5.1x
• per-layer attention 10.5x быстрее FlashAttention-3
• 90% sparsity на WaverBench1.0 не проигрывает dense (50% против 49%)
Связка под #MiniMaxH3 #T2VA: Ускорение до 2.76x end-to-end на RTX 4090
Гитхаб
HF
Спасибо @m_franz
#optimization
❤6👍3🔥1
Prism
Превью от Tencent Hunyuan + Fudan: генерация видео и звука в одном проходе, нативно в 720p, 1080p и 2K. MIT-лицензия.
• Видео + аудио одним проходом: речь, музыка, звуки, липсинк
• Нативные разрешения 720p, 1080p и #2K
• Рядом с Kling 3, MiniMax H3, Wan 3.0 и Seedance 2.5 держится достойно
• Мультиязычная речь, звуковой дизайн
• База — MOVA
• MIT, открыты тренировочный и финтюн-коды
Требования к железу
• 720p — одна карта 80 ГБ
• 1080p/2K — от 4 карт по 80 ГБ
Два превью-чека: alpha (стабильный) и beta (движение). Prism-pro в планах
huggingface.co/FrancisRing/Prism
github.com/Tencent-Hunyuan/Prism
[UPDATE] говорят, автора поймали на том что выдавал ролики из интернета за генерацию Prism
#t2va #av
MAX
Превью от Tencent Hunyuan + Fudan: генерация видео и звука в одном проходе, нативно в 720p, 1080p и 2K. MIT-лицензия.
• Видео + аудио одним проходом: речь, музыка, звуки, липсинк
• Нативные разрешения 720p, 1080p и #2K
• Рядом с Kling 3, MiniMax H3, Wan 3.0 и Seedance 2.5 держится достойно
• Мультиязычная речь, звуковой дизайн
• База — MOVA
• MIT, открыты тренировочный и финтюн-коды
Требования к железу
• 720p — одна карта 80 ГБ
• 1080p/2K — от 4 карт по 80 ГБ
Два превью-чека: alpha (стабильный) и beta (движение). Prism-pro в планах
huggingface.co/FrancisRing/Prism
github.com/Tencent-Hunyuan/Prism
[UPDATE] говорят, автора поймали на том что выдавал ролики из интернета за генерацию Prism
#t2va #av
MAX
👍10😭3