P-Video

Быстрый видеогенератор от Pruna AI, на вход можно подать картинку и аудио.
Пишут что-то про итеративное создание видео.
720p и 1080p

— 10 секунд на генерацию 5 секунд 720p

— $0.02 за секунду 720p

— Есть режим черновика - 2.5 секунды для превью

— До 15 секунд видео с аудио

До 23:00 пятницы генерация бесплатна (на Replicate? по API?)

P-Video Playground - попробовать
офсайт Pruna - тут нет видеогенерации
API
Replicate

#text2video #image2video #av #lipsync #online

JavisDiT++

Модель синхронной генерации видео и звука из текста

Это Wan2.1 1.3B, расширенный до 2.1B без увеличения стоимости инференса.

Главная фишка - синхронизация аудио и видео на уровне токенов, плюс обучение на человеческих предпочтениях. В теории звук и картинка не просто генерируются вместе, но ещё и соответствуют друг другу. На практике 2B маловато для этого

Против VEO3 (самое последнее видео) не тянет, но эй, это модель на 2B параметров всего!

Гитхаб
HF

#wan #text2av #av

LTX-2.3

Эй, я только попробовал LTX-2! Хотя тут нет открытых весов. Это видимо как WAN 2.6 коммерческая модель

— генерирует видео по текстовому описанию, картинке, аудио

— благодаря обновлённому VAE - более чёткие детали и реалистичные текстуры

— точнее следует промпту

— нативно умеет делать вертикальные видео

— вставляет текст и логотипы прямо в сцену с корректным размещением

На платформе предлагают генерить 20 сек 4К 50 FPS

API
Playground

Спасибо @Saint_Gustaf

#videoediting #any2video #av

ID-LoRA: Identity-Driven Audio-Video Personalization

Лора персонализации для LTX-2

Каим-то образом можно подавать на вход не только картинку и но и референсное аудио

Гитхаб
HF

Спасибо @m_franz

#personalization #ltx2 #av #talkinghead

Нейронавт в MAX

OmniForcing

Фреймворк превращает тяжелый диффузный видеогенератор в более лёгкую и быструю авторегрессионную версию, способную работать в реальном времени

работает в потоковом режиме со скоростью около 25 fps на одном GPU (каком?)

сохраняет качество картинки и звука на уровне исходной модели

Гитхаб ждем через 2 недели

#realtime #optimization #av

Нейронавт в MAX

daVinci-MagiHuman

Новый генератор синхронизированных аудиовидеороликов на 15B параметров от GAIR / Sand.ai

Single-stream Transformer обрабатывает текст, видео и аудио одновременно

Поддерживает несколько языков: китайский, английский, японский, корейский, немецкий, французский

5-секундное видео в разрешении 1080p создает за 38 секунд на одной H100. 540p за 8 секунд

По сравнениям бьет Ovi 1.1 в 80% случаев, LTX 2.3 — в 60,9%

Гитхаб
HF - трансформеры, в том числе и дистилл весят по 65ГБ
Демо

Спасибо @m_franz

#av #text2av #text2video #lipsync

Happy Horse 1.0

Модель для генерации синхронизированного видео и аудио/ Сразу есть 8-шаговая DMD дистилляция

- генерирует диалог, фоновые звуки и шумы

- поддерживает семиязычный липсинк - английский, мандаринский, кантонский, японский, корейский, немецкий и французский

- 1080p

- архитектура — 40-слойный Transformer

- 15B параметров

- время генерации 5-секундного клипа в 1080p на H100 — около 38 секунд

Гитхаб - 404, скрыт пока, веса тоже

Спасибо @BrianMItro

#text2av #image2av #av #t2v #i2v

JavisVerse

Генерация и понимание аудио‑видео контента

JavisDiT генерирует синхронизированное аудио и видео из текста (на базе DiT)
JavisDiT++ улучшает качество и синхронизацию
JavisGPT понимает аудиовизуальные данные и генерирует звучащие видео, работает с текстом, аудио, видео или их комбинацией

JavisBench — бенчмарк для оценки качества. JavisInst‑Omni — датасет из 200 тыс. диалогов для обучения.

https://github.com/JavisVerse/JavisDiT
https://github.com/JavisVerse/JavisGPT
https://huggingface.co/collections/JavisVerse/javisdit-v01
https://huggingface.co/JavisDiT/JavisDiT-v0.1-jav
https://huggingface.co/JavisVerse/JavisGPT-v0.1-7B-Instruct
https://huggingface.co/collections/JavisVerse/javisgpt

#vlm #alm #t2av #av #multimodal

NAVA

Открытая модель для совместной генерации видео и аудио от Baidu, команда ERNIE

• генерирует синхронизированное аудио+видео из одного промпта
• создаёт 720p‑видео со звуком за ~1 минуту
• поддерживает многоспикерные сцены — задаёт индивидуальный голос каждому через WAV‑файлы (...<E>)
• управляет композицией кадра, движением и темпом через промпт
• выдаёт разные форматы (landscape/portrait/square) из одного чекпоинта
• обходится без отдельного вокодера и пост‑выравнивания

6,3 млрд параметров, работает на 8 GPU (Ulysses sequence parallel), бэкбон - Wan2.2-TI2V-5B, превосходит конкурентов в 2–5 раз большего размера на Verse‑Bench.

github.com/ernie-research/NAVA

huggingface.co/ernie-research/NAVA

Спасибо @EvgenyiPerm

#av #t2av

Muse Image и Muse Video

Генераторы изображений и видео "с учетом социального контекста" от Meta (запрещено в РФ)

№2 на Арене по картинкам

Muse Image работает как агент: ищет данные, пишет код, дорабатывает генерации и улучшает результат через вычисления при инференсе. Интегрирован с Muse Spark для совместного планирования.

Возможности:
• Пишет и исполняет код (графики, QR-коды) через RL.
• Использует отрендеренные фигуры для точности.
• Комбинирует код и медиа с Muse Spark для создания GIF, сайтов и игр.

Muse Video на той же базе - высокая визуальная детализация, встроенная аудиодорожка

Muse Image доступен в Meta AI, Instagram Stories, WhatsApp (в отдельных странах). Muse Video - в превью.

Спасибо @BrianMItro @QuantumFast

#t2i #t2v #referencing #i2v #agent #av #t2av

MAGI-2 Preview

Опенсорс модель для генерации видео со звуком

Но... 114B параметров. Веса - я даже считать не буду сколько, >300ГБ
Требуется 8 GPU NVIDIA Hopper, Python 3.2 и CUDA, ffmpeg

• генерация видео из текста (T2V)
• генерация видео из промта и изображения (I2V)
• создание звука и его микширование с видео

• два этапа генерации: денойз и рефайн
• разрешение 1080p после рефайна
• длительность клипов 10 секунд

Гитхаб
HF - выложили базовую. Ждем дистиллированную/ Ну как ждем. Бояре ждут
API

#av #t2v #t2av #i2v #i2av #api

Prism

Превью от Tencent Hunyuan + Fudan: генерация видео и звука в одном проходе, нативно в 720p, 1080p и 2K. MIT-лицензия.

• Видео + аудио одним проходом: речь, музыка, звуки, липсинк
• Нативные разрешения 720p, 1080p и #2K
• Рядом с Kling 3, MiniMax H3, Wan 3.0 и Seedance 2.5 держится достойно
• Мультиязычная речь, звуковой дизайн

• База — MOVA
• MIT, открыты тренировочный и финтюн-коды

Требования к железу
• 720p — одна карта 80 ГБ
• 1080p/2K — от 4 карт по 80 ГБ

Два превью-чека: alpha (стабильный) и beta (движение). Prism-pro в планах

huggingface.co/FrancisRing/Prism
github.com/Tencent-Hunyuan/Prism

[UPDATE] говорят, автора поймали на том что выдавал ролики из интернета за генерацию Prism

#t2va #av

MAX