JavisVerse

Генерация и понимание аудио‑видео контента

JavisDiT генерирует синхронизированное аудио и видео из текста (на базе DiT)
JavisDiT++ улучшает качество и синхронизацию
JavisGPT понимает аудиовизуальные данные и генерирует звучащие видео, работает с текстом, аудио, видео или их комбинацией

JavisBench — бенчмарк для оценки качества. JavisInst‑Omni — датасет из 200 тыс. диалогов для обучения.

https://github.com/JavisVerse/JavisDiT
https://github.com/JavisVerse/JavisGPT
https://huggingface.co/collections/JavisVerse/javisdit-v01
https://huggingface.co/JavisDiT/JavisDiT-v0.1-jav
https://huggingface.co/JavisVerse/JavisGPT-v0.1-7B-Instruct
https://huggingface.co/collections/JavisVerse/javisgpt

#vlm #alm #t2av #av #multimodal

NAVA

Открытая модель для совместной генерации видео и аудио от Baidu, команда ERNIE

• генерирует синхронизированное аудио+видео из одного промпта
• создаёт 720p‑видео со звуком за ~1 минуту
• поддерживает многоспикерные сцены — задаёт индивидуальный голос каждому через WAV‑файлы (...<E>)
• управляет композицией кадра, движением и темпом через промпт
• выдаёт разные форматы (landscape/portrait/square) из одного чекпоинта
• обходится без отдельного вокодера и пост‑выравнивания

6,3 млрд параметров, работает на 8 GPU (Ulysses sequence parallel), бэкбон - Wan2.2-TI2V-5B, превосходит конкурентов в 2–5 раз большего размера на Verse‑Bench.

github.com/ernie-research/NAVA

huggingface.co/ernie-research/NAVA

Спасибо @EvgenyiPerm

#av #t2av

Muse Image и Muse Video

Генераторы изображений и видео "с учетом социального контекста" от Meta (запрещено в РФ)

№2 на Арене по картинкам

Muse Image работает как агент: ищет данные, пишет код, дорабатывает генерации и улучшает результат через вычисления при инференсе. Интегрирован с Muse Spark для совместного планирования.

Возможности:
• Пишет и исполняет код (графики, QR-коды) через RL.
• Использует отрендеренные фигуры для точности.
• Комбинирует код и медиа с Muse Spark для создания GIF, сайтов и игр.

Muse Video на той же базе - высокая визуальная детализация, встроенная аудиодорожка

Muse Image доступен в Meta AI, Instagram Stories, WhatsApp (в отдельных странах). Muse Video - в превью.

Спасибо @BrianMItro @QuantumFast

#t2i #t2v #referencing #i2v #agent #av #t2av

FLUX 3

мультимодалка от BFL объединяет обработку изображений, видео, аудио и текста. Знает связи объектов, движения, звуков

• генерация видео до 20 секунд с нативным аудио
• text-to-video, image-to-video, video-to-video
• продолжение видео и аудио по референсу
• создание мультиязычных диалогов
• редактирование и синтез изображений в разных стилях
• предсказание действий, интеграция с роботехникой
• сборка длинных сцен из клипов, контроль персонажей

• 720p
• поддержка разных соотношений сторон и стилей
• мультиязычная генерация текста на изображениях

базируется на Self-Flow, совмещает генерацию и понимание в одной архитектуре. в тестах обходит Runway Gen-4.5, Luma Ray 3.2 и др

готовят опенсорный вариант FLUX 3 Dev

Поклянчить ранний доступ

#multimodal #vlm #t2v #t2av #t2i #i2v #videoediting

MAGI-2 Preview

Опенсорс модель для генерации видео со звуком

Но... 114B параметров. Веса - я даже считать не буду сколько, >300ГБ
Требуется 8 GPU NVIDIA Hopper, Python 3.2 и CUDA, ffmpeg

• генерация видео из текста (T2V)
• генерация видео из промта и изображения (I2V)
• создание звука и его микширование с видео

• два этапа генерации: денойз и рефайн
• разрешение 1080p после рефайна
• длительность клипов 10 секунд

Гитхаб
HF - выложили базовую. Ждем дистиллированную/ Ну как ждем. Бояре ждут
API

#av #t2v #t2av #i2v #i2av #api

Kandinsky 6.0 Video

Видеогенератор от Kandinsky Lab

• Видео с синхронным аудио 44 кГц, липсинк
• Из текста или изображения (#T2AV / #TI2AV )
• Full-HD супер-резолушн отдельным пайплайном
• Дистиллированные версии для ускорения

• Две модели: Lite 3B и Pro 29B
• 5-секундные клипы, 24 fps

Требования к железу
• Lite 3B — сила на одной карте: ~12-15 ГБ весов, с оффлоадом влезает в 16-24 ГБ VRAM
• Pro 29B — тяжtлая: трансформер один тянет ~60 ГБ, нужен H100/A100 80 ГБ или пара карт
• Full-HD апскейл добавляет нагрузки

Стек: трансформер + Qwen2.5-VL + CLIP + видео/аудио-VAE + вокодер. Для широкого применения реалистичен Lite, Pro — удел больших карт.

Уже на Fal. апскейлер - отдельная модель

HF
ComfyUI
Fal

#upscale

MAX