🔥 Alibaba представили новую модель - Wan2.1-VACE: универсальную модель для создания и редактирования видео.

Что умеет Wan2.1-VACE:
🟢 R2V — генерация видео по ссылке-примере (Reference-to-Video)
🟢 V2V — редактирование видео по видео (Video-to-Video)
🟢 MV2V — редактирование замаскированных областей видео (Masked Video-to-Video)

💡 Эти возможности можно свободно комбинировать, выполняя сложные креативные задачи.

🔍 Ключевые особенности:
▪ SOTA-производительность: Wan2.1 стабильно превосходит существующие open-source модели и даже коммерческие решения уровня state-of-the-art в ряде бенчмарков.

▪ Работает на обычных видеокартах: Модель T2V-1.3B требует всего 8.19 ГБ видеопамяти, что делает её совместимой почти со всеми пользовательскими GPU. Например, на RTX 4090 она генерирует 5-секундное видео 480P примерно за 4 минуты (без оптимизаций, таких как квантизация). Её производительность сопоставима с некоторыми закрытыми моделями.

▪ Мультизадачность: Wan2.1 демонстрирует хорошие результаты в задачах текст-в-видео, изображение-в-видео, видеомонтаж, текст-в-изображение и видео-в-аудио, продвигая границы генерации видео..

▪ Модель способна выдавать 1080P в теории любой длины, при этом сохраняя временную структуру.

- Размер модели: 1.3B и 14B
- Лицензия: Apache-2.

🔜 GitHub: github.com/Wan-Video/Wan2.1
🔜 HuggingFace: huggingface.co/Wan-AI
🔜 ModelScope: modelscope.cn/organization/Wan-Al
🔜 API сервис: bailian.console.alibabacloud.com

@ai_machinelearning_big_data


#Alibaba #wan #videogeneration