Media is too big
VIEW IN TELEGRAM
Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
И еще один видеогенератор на базе #WAN22
Создает видео со звуком, как VEO3. По тексту, по картинке.
Может создавать звуковые эффекты и музыку, соответствующие визуалу
Хронометраж 5 сек, 24 кадра в секунду, разрешением 720×720, с различными соотношениями сторон (9:16, 16:9, 1:1, и т.д.)
Обещают выпустить модель с повышенным разрешением, повысить хронометраж, дистилл для быстрого инференса и скрипты обучения.
Гитхаб
HF
Спасибо @m_franz
#text2video #image2video #AV #text2Av #image2AV #sfx
И еще один видеогенератор на базе #WAN22
Создает видео со звуком, как VEO3. По тексту, по картинке.
Может создавать звуковые эффекты и музыку, соответствующие визуалу
Хронометраж 5 сек, 24 кадра в секунду, разрешением 720×720, с различными соотношениями сторон (9:16, 16:9, 1:1, и т.д.)
Обещают выпустить модель с повышенным разрешением, повысить хронометраж, дистилл для быстрого инференса и скрипты обучения.
Гитхаб
HF
Спасибо @m_franz
#text2video #image2video #AV #text2Av #image2AV #sfx
🔥13👍3❤1
Image to Video Generator with Ovi
Демоспейс видеогенератора со звуком Ovi
Поскольку он навайбкоженный, работает криво. Там нужна дополнительная авторизация и она может глючить. В этом случае попробуйте другой браузер
#text2video #image2video #AV #text2Av #image2AV #sfx
Демоспейс видеогенератора со звуком Ovi
Поскольку он навайбкоженный, работает криво. Там нужна дополнительная авторизация и она может глючить. В этом случае попробуйте другой браузер
#text2video #image2video #AV #text2Av #image2AV #sfx
huggingface.co
Ovi - a Hugging Face Space by akhaliq
Upload a clear image and type a brief prompt that describes the motion and any spoken words you want. The app then creates a 5‑second MP4 video with synchronized audio, bringing the static picture ...
👍4🔥1😁1
Media is too big
VIEW IN TELEGRAM
Harmony: Harmonizing Audio and Video Generation through Cross-Task Synergy
Новая модель от Tencent Hunyuan
#Sota в генерации синхронизированного видео и аудио
Умеет клонировать голос, знает несколько языков.
Модель способна работать с разными сценариями:
— генерация аудиовизуального контента на основе речи
— синтез аудиовизуального материала по подсказкам, связанным с окружающими звуками (environmental sounds)
Код ждем
#text2av #audio2av #av #text2video #audio2video
Новая модель от Tencent Hunyuan
#Sota в генерации синхронизированного видео и аудио
Умеет клонировать голос, знает несколько языков.
Модель способна работать с разными сценариями:
— генерация аудиовизуального контента на основе речи
— синтез аудиовизуального материала по подсказкам, связанным с окружающими звуками (environmental sounds)
Код ждем
#text2av #audio2av #av #text2video #audio2video
🔥10❤2👍1👨💻1
LTX-2
Бдительные подписчики не дадут пропустить крупный релиз
Вышла наконец новая версия опенсорсного видео-аудиогенератора
Вероятно, если бы они сделали без аудио, модель была бы поменьше и требовала меньше ресурсов но имеем что имеем - модель на 19B параметров, получившая название ltx-2-19b-dev. Авторам гонятся за рынком, а там аудио-видео
Есть fp8 и fp4, пространственный и временной апскейлеры, пачка контролнетов, лор.
Теперь про коммерческие модели. На LTX-Studio есть три режима работы:
Fast (для быстрого брейнсторма)
Pro (для презентаций и обзоров)
Ultra (для финального контента, скоро будет доступен)
Разрешение до 4K
Можно выбирать длительность ролика (6, 8 или 10 секунд, скоро будет 15 секунд)
Блог
LTX Studio
HF
HF коллекция
gemma_3_12B_it.safetensors - текстовый энкодер
Демо
Демо LTX-2 Distilled
Гитхаб
ComfyUI-LTXVideo - тут пишут что нужно от 32 ГБ VRAM🤩 🤩 🤩
Using ComfyUI with LTX-2 - руководство по использованию в комфи
Воркфлоу
Руководство по промптингу
Спасибо @m_franz @StanShumsky
#text2video #image2video #text2av #image2av #workflow
Бдительные подписчики не дадут пропустить крупный релиз
Вышла наконец новая версия опенсорсного видео-аудиогенератора
Вероятно, если бы они сделали без аудио, модель была бы поменьше и требовала меньше ресурсов но имеем что имеем - модель на 19B параметров, получившая название ltx-2-19b-dev. Авторам гонятся за рынком, а там аудио-видео
Есть fp8 и fp4, пространственный и временной апскейлеры, пачка контролнетов, лор.
Теперь про коммерческие модели. На LTX-Studio есть три режима работы:
Fast (для быстрого брейнсторма)
Pro (для презентаций и обзоров)
Ultra (для финального контента, скоро будет доступен)
Разрешение до 4K
Можно выбирать длительность ролика (6, 8 или 10 секунд, скоро будет 15 секунд)
Блог
LTX Studio
HF
HF коллекция
gemma_3_12B_it.safetensors - текстовый энкодер
Демо
Демо LTX-2 Distilled
Гитхаб
ComfyUI-LTXVideo - тут пишут что нужно от 32 ГБ VRAM
Using ComfyUI with LTX-2 - руководство по использованию в комфи
Воркфлоу
Руководство по промптингу
Спасибо @m_franz @StanShumsky
#text2video #image2video #text2av #image2av #workflow
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🔥6❤2
Media is too big
VIEW IN TELEGRAM
Vidu Q3
Эта видеогенерилка тоже обновилась недавно
— генерирует аудиовизуал длительностью до 16 секунд
— 1080p
— контроль камеры, плавное переключение между кадрами
— отображает текст на нескольких языках, включая китайский, английский и японский
Есть какой-то промокод для новых пользователей
Vidu Prompt User Guide
Попробовать
#text2video #image2video #imageediting #referencing #av #text2av #image2av
Эта видеогенерилка тоже обновилась недавно
— генерирует аудиовизуал длительностью до 16 секунд
— 1080p
— контроль камеры, плавное переключение между кадрами
— отображает текст на нескольких языках, включая китайский, английский и японский
Есть какой-то промокод для новых пользователей
YESVIDU
Vidu Prompt User Guide
Попробовать
#text2video #image2video #imageediting #referencing #av #text2av #image2av
👍4🔥2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
JavisDiT++
Модель синхронной генерации видео и звука из текста
Это Wan2.1 1.3B, расширенный до 2.1B без увеличения стоимости инференса.
Главная фишка - синхронизация аудио и видео на уровне токенов, плюс обучение на человеческих предпочтениях. В теории звук и картинка не просто генерируются вместе, но ещё и соответствуют друг другу. На практике 2B маловато для этого
Против VEO3 (самое последнее видео) не тянет, но эй, это модель на 2B параметров всего!
Гитхаб
HF
#wan #text2av #av
Модель синхронной генерации видео и звука из текста
Это Wan2.1 1.3B, расширенный до 2.1B без увеличения стоимости инференса.
Главная фишка - синхронизация аудио и видео на уровне токенов, плюс обучение на человеческих предпочтениях. В теории звук и картинка не просто генерируются вместе, но ещё и соответствуют друг другу. На практике 2B маловато для этого
Против VEO3 (самое последнее видео) не тянет, но эй, это модель на 2B параметров всего!
Гитхаб
HF
#wan #text2av #av
🔥9👍2
daVinci-MagiHuman
Новый генератор синхронизированных аудиовидеороликов на 15B параметров от GAIR / Sand.ai
Single-stream Transformer обрабатывает текст, видео и аудио одновременно
Поддерживает несколько языков: китайский, английский, японский, корейский, немецкий, французский
5-секундное видео в разрешении 1080p создает за 38 секунд на одной H100. 540p за 8 секунд
По сравнениям бьет Ovi 1.1 в 80% случаев, LTX 2.3 — в 60,9%
Гитхаб
HF - трансформеры, в том числе и дистилл весят по 65ГБ
Демо
Спасибо @m_franz
#av #text2av #text2video #lipsync
Новый генератор синхронизированных аудиовидеороликов на 15B параметров от GAIR / Sand.ai
Single-stream Transformer обрабатывает текст, видео и аудио одновременно
Поддерживает несколько языков: китайский, английский, японский, корейский, немецкий, французский
5-секундное видео в разрешении 1080p создает за 38 секунд на одной H100. 540p за 8 секунд
По сравнениям бьет Ovi 1.1 в 80% случаев, LTX 2.3 — в 60,9%
Гитхаб
HF - трансформеры, в том числе и дистилл весят по 65ГБ
Демо
Спасибо @m_franz
#av #text2av #text2video #lipsync
🔥5❤2👍2
ComfyUI-DaVinci-MagiHuman
Кастом ноды аудиовидеогенератора DaVinci-MagiHuman
С блоксвопом должно влезать в 16 ГБ VRAM
Спасибо @m_franz
#comfyui #av #text2av #text2video #lipsync
Кастом ноды аудиовидеогенератора DaVinci-MagiHuman
С блоксвопом должно влезать в 16 ГБ VRAM
Спасибо @m_franz
#comfyui #av #text2av #text2video #lipsync
🔥11
Happy Horse 1.0
Модель для генерации синхронизированного видео и аудио/ Сразу есть 8-шаговая DMD дистилляция
- генерирует диалог, фоновые звуки и шумы
- поддерживает семиязычный липсинк - английский, мандаринский, кантонский, японский, корейский, немецкий и французский
- 1080p
- архитектура — 40-слойный Transformer
- 15B параметров
- время генерации 5-секундного клипа в 1080p на H100 — около 38 секунд
Гитхаб - 404, скрыт пока, веса тоже
Спасибо @BrianMItro
#text2av #image2av #av #t2v #i2v
Модель для генерации синхронизированного видео и аудио/ Сразу есть 8-шаговая DMD дистилляция
- генерирует диалог, фоновые звуки и шумы
- поддерживает семиязычный липсинк - английский, мандаринский, кантонский, японский, корейский, немецкий и французский
- 1080p
- архитектура — 40-слойный Transformer
- 15B параметров
- время генерации 5-секундного клипа в 1080p на H100 — около 38 секунд
Гитхаб - 404, скрыт пока, веса тоже
Спасибо @BrianMItro
#text2av #image2av #av #t2v #i2v
❤5👍2🔥1