This media is not supported in your browser
VIEW IN TELEGRAM
Open-Sora-Plan: обновление в генерации видео ИИ
Команда PKU-YuanGroup представила версию 1.3.0 проекта Open-Sora-Plan, для на генерации видео.
Ключевые улучшения включают WFVAE для эффективной обработки видео, Prompt Refiner для оптимизации запросов и Skiparse Attention для ускорения обучения.
Внедрена стратегия очистки данных, оставившая 27% исходного набора Panda70m, что повысило качество генерации.
Реализовано динамическое разрешение и длительность видео.
Модель обучена на 4-секундных роликах 720p и поддерживает генерацию как из текста, так и из изображений.
Планируется масштабирование до 10-15B и даже 30B параметров, улучшение понимания физических законов и добавление способностей обобщения.
#OpenSora #VideoGeneration #Китай
-------
@tsingular
Команда PKU-YuanGroup представила версию 1.3.0 проекта Open-Sora-Plan, для на генерации видео.
Ключевые улучшения включают WFVAE для эффективной обработки видео, Prompt Refiner для оптимизации запросов и Skiparse Attention для ускорения обучения.
Внедрена стратегия очистки данных, оставившая 27% исходного набора Panda70m, что повысило качество генерации.
Реализовано динамическое разрешение и длительность видео.
Модель обучена на 4-секундных роликах 720p и поддерживает генерацию как из текста, так и из изображений.
Планируется масштабирование до 10-15B и даже 30B параметров, улучшение понимания физических законов и добавление способностей обобщения.
#OpenSora #VideoGeneration #Китай
-------
@tsingular
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
🎬 Open-Sora 2.0: революция в видеопроизводстве теперь доступна каждому
📊 Ключевые моменты:
11B модель по качеству сравнима с 11B HunyuanVideo и 30B Step-Video (!) по метрикам VBench и выбору зрителей.
Полностью открытый исходный код — в отличие от других "открытых" моделей
Обучение обошлось "всего" в $200K
Поддерживает форматы: 256px и 768px видео, T2V и I2V в одной модели
Гибкий контроль: аспекты от 16:9 до 9:16, длительность до 129 кадров
🔧 Технические возможности:
Параллелизм: поддержка multi-GPU через ColossalAI для скорости и работы с большими разрешениями
Контроль движения: параметр motion-score от 1 до 7 для тонкой настройки динамики камеры
Улучшение промптов: интеграция с ChatGPT для автоматического расширения описаний
Оптимизация памяти: режим offload для экономии GPU-памяти (52.5GB → 44.3GB)
Разные рабочие процессы: прямая T2V или двухэтапная T2I2V (через Flux)
⚡️ Производительность:
256x256 на одном H100: ~60 секунд, 52.5GB памяти
768x768 на восьми H100: ~276 секунд, 44.3GB памяти
Интересно, что модель сократила разрыв с OpenAI Sora с 4.52% до всего 0.69% по VBench!
Учитывая стоимость коммерческих API для видео и растущее значение видеоконтента, Open-Sora может стать тем решением, которое имеет смысл разворачивать локально для продакшена.
Особенно интересен пайплайн I2V — можно взять статичное изображение товара и автоматизировать создание рекламных роликов под разные платформы.
#OpenSora #нейрорендер
———
@tsingular
📊 Ключевые моменты:
11B модель по качеству сравнима с 11B HunyuanVideo и 30B Step-Video (!) по метрикам VBench и выбору зрителей.
Полностью открытый исходный код — в отличие от других "открытых" моделей
Обучение обошлось "всего" в $200K
Поддерживает форматы: 256px и 768px видео, T2V и I2V в одной модели
Гибкий контроль: аспекты от 16:9 до 9:16, длительность до 129 кадров
🔧 Технические возможности:
Параллелизм: поддержка multi-GPU через ColossalAI для скорости и работы с большими разрешениями
Контроль движения: параметр motion-score от 1 до 7 для тонкой настройки динамики камеры
Улучшение промптов: интеграция с ChatGPT для автоматического расширения описаний
Оптимизация памяти: режим offload для экономии GPU-памяти (52.5GB → 44.3GB)
Разные рабочие процессы: прямая T2V или двухэтапная T2I2V (через Flux)
⚡️ Производительность:
256x256 на одном H100: ~60 секунд, 52.5GB памяти
768x768 на восьми H100: ~276 секунд, 44.3GB памяти
Интересно, что модель сократила разрыв с OpenAI Sora с 4.52% до всего 0.69% по VBench!
Учитывая стоимость коммерческих API для видео и растущее значение видеоконтента, Open-Sora может стать тем решением, которое имеет смысл разворачивать локально для продакшена.
Особенно интересен пайплайн I2V — можно взять статичное изображение товара и автоматизировать создание рекламных роликов под разные платформы.
#OpenSora #нейрорендер
———
@tsingular
🔥5👍1