Muse Image и Muse Video

Генераторы изображений и видео "с учетом социального контекста" от Meta (запрещено в РФ)

№2 на Арене по картинкам

Muse Image работает как агент: ищет данные, пишет код, дорабатывает генерации и улучшает результат через вычисления при инференсе. Интегрирован с Muse Spark для совместного планирования.

Возможности:
• Пишет и исполняет код (графики, QR-коды) через RL.
• Использует отрендеренные фигуры для точности.
• Комбинирует код и медиа с Muse Spark для создания GIF, сайтов и игр.

Muse Video на той же базе - высокая визуальная детализация, встроенная аудиодорожка

Muse Image доступен в Meta AI, Instagram Stories, WhatsApp (в отдельных странах). Muse Video - в превью.

Спасибо @BrianMItro @QuantumFast

#t2i #t2v #referencing #i2v #agent #av #t2av

LingBot-Video

#MoE видеогенератор для воплощённого интеллекта (роботов). Объединяет синтез видео с пониманием физического мира

t2v, i2v, ti2v

• Создаёт видео в открытом мире, прогнозирует траектории движения
• Моделирует роботов, гуманоидов, четвероногих и мобильные платформы
• Воспроизводит свойства материалов, освещение и отражения
• Имитирует реалистичные движения

Есть две версии: компактная Dense (1.3B) и мощная MoE (30B-A3B)

Лидирует в RBench Leaderboard по всем показателям

Для чего роботам видеогенератор? Например для синтеза обучающих видео и тестирования роботов

Гитхаб
HF
Демо

Спасибо @m_franz

#t2v #i2v #ti2v

MobileWan

WAN2.2 5B затюнили для генерации на смартфоне

• генерация 5-секундных видео 480×832 px, 16 fps
• задержка 20 секунд
• VBench 83.79 - рекорд для мобильных решений

Гитхаб
HF

Спасибо @m_franz

#t2v #i2v #mobile

4-шаговые модели Cosmos 3 Super от Nvidia генерируют видео и картинки в 25 раз быстрее базовой модели

Демо

#t2i #i2v

FLUX 3

мультимодалка от BFL объединяет обработку изображений, видео, аудио и текста. Знает связи объектов, движения, звуков

• генерация видео до 20 секунд с нативным аудио
• text-to-video, image-to-video, video-to-video
• продолжение видео и аудио по референсу
• создание мультиязычных диалогов
• редактирование и синтез изображений в разных стилях
• предсказание действий, интеграция с роботехникой
• сборка длинных сцен из клипов, контроль персонажей

• 720p
• поддержка разных соотношений сторон и стилей
• мультиязычная генерация текста на изображениях

базируется на Self-Flow, совмещает генерацию и понимание в одной архитектуре. в тестах обходит Runway Gen-4.5, Luma Ray 3.2 и др

готовят опенсорный вариант FLUX 3 Dev

Поклянчить ранний доступ

#multimodal #vlm #t2v #t2av #t2i #i2v #videoediting

SANA-Video 2.0

NVIDIA переработали архитектуру видеогенератора, гибрид линейного и softmax-внимания. Сразу скажу что весов нет. На гитхабе свежие обновки старой Саны, а по новой молчок.

• генерация видео до 720p на одном GPU
• высокая выразительность при линейном масштабировании
• ускорение через Sol-Engine
• совместимость с потребительскими GPU

• версии 5B и 14B
• 480p за 13.2 с (H100, 40 шагов)
• VBench 84.30
• до 120x быстрее Wan 2.2-A14B

Гитхаб

#t2v #i2v

MAGI-2 Preview

Опенсорс модель для генерации видео со звуком

Но... 114B параметров. Веса - я даже считать не буду сколько, >300ГБ
Требуется 8 GPU NVIDIA Hopper, Python 3.2 и CUDA, ffmpeg

• генерация видео из текста (T2V)
• генерация видео из промта и изображения (I2V)
• создание звука и его микширование с видео

• два этапа генерации: денойз и рефайн
• разрешение 1080p после рефайна
• длительность клипов 10 секунд

Гитхаб
HF - выложили базовую. Ждем дистиллированную/ Ну как ждем. Бояре ждут
API

#av #t2v #t2av #i2v #i2av #api

CMD (Context-Matched Distillation)

Метод дистилляции для авторегрессивной генерации видео от NVIDIA. #SOTA среди авторегрессивных методов

Учитель и ученик получают одинаковый контекст: кадр оценивается по тому же префиксу и контролю, что был у студента при генерации. Раньше учитель видел весь клип целиком включая будущие кадры которых студент не видел, и супервизия разъезжалась с реальными условиями генерации

В итоге меньше шагов на генерацию, можно интерактивно вмешиваться в процесс генерации, задавать движение камеры и получать длинные сцены без поплывшего хвоста

- База: Cosmos-Predict2.5 2B
- Шесть чекпоинтов: chunk-1 и chunk-4 (короткие/длинные + камера-контроль)

Гитхаб
HF
Демо

#optimization #cameracontrol #interactive #t2v #i2v

Gemini Omni 1.1 Flash

Обновление видео-модели Gemini

Продакшен-релиз с "профессиональными инструментами монтажа"

360p для быстрых черновиков, 4K для финала, растяжка сцен до 40 секунд и плавные переходы между ключевыми кадрами

- Продление сцены до 40 секунд: модель анализирует до 10 секунд контекста (раньше 1 секунду) и достраивает видео без разрыва
- First/Last Frame
- 360p для черновиков: до 60% быстрее и втрое дешевле 720p
- Апскейл до 1080p и 4K для финального рендера
- Видео-референсы: до 3 секунд видео на входе

- #1 на Video Arena

AI Studio
Enterprise Agent Platform

#t2v #i2v #videoediting #referencing #upscale #4k

Накопилось по #minimaxH3 - часть 21
и можно полдня о нем не писать

civitai.com/models/2920872/minimax-h3-fun-control-in-comfyui-or-depth-and-pose-video - вф Fun #ControlNet - depth и pose

github.com/ukr8b3g-cmyk/ComfyUI-H3-Continuum - сэмплер для длинных роликов

github.com/lj350201364/MiniMaxH3_Single_Dancer_Prompt_Skill - #skill : промпт танца по рефу #prompting

huggingface.co/geocine/minimax-video-prompt-enhancer-2.6b-gguf - #GGUF 2.6B для рерайта промптов, в Jan.ai

huggingface.co/HardGravy2/Minimax_H3_FLF_HardGravy_6_Step_Turbo_Merge - новый 6-шаговый турбо-мерж + #realism #LoRA сверху

fal.ai/models/minimax/h3-max/multi-angle/image-to-video - #i2v с "точным контролем движения камеры" на fal.ai Спасибо @Endorpheen

civitai.red/models/2881362/minimax-seed-hunter-workflow-latent-upscaler-seamless-video-continuation-speedups - #workflow : латентный #upscale , бесшовное продолжение видео, ускорение - многократно рекомендован @DracoLockhard

HiDream-O1-Video-1.0 (HD-V1)

Первая нативная omni-modal видеомодель от HIDream. Вход - текст, картинка и видео, выход - киношные клипы 1080p длиной 5-20 секунд.

• Физика в основе движения и динамики
• Глубокое понимание замысла до генерации
• Длительность решает сюжет, а не фиксированные промпты
• Нативная синхронизация аудио и видео, без артефактов пост-даббинга

#4 на Artificial Analysis Image-to-Video (With Audio)
#8 на Arena.ai Image-to-Video

Раньше генеративные видео игнорировали физику: объекты плавились и проходили сквозь стены. Модель заземлена на реальные законы мира, поэтому студии и независимые авторы смогут делать превизуализацию и спецэффекты без ошибок симуляции.

Пока только API

#i2v #i2av

VK | MAX

Vidu Q4 Preview

Новый флагманский видеогенератор от Vidu.

Экспрессивная актерская игра, киношная работа камерой и сочные VFX

• Кинематографичный язык камеры
• Выразительная мимика и движения персонажей
• Высококонтрастные VFX-эффекты
• Генерация видео флагманского уровня

Все это хорошо но но ноги блуждающие по телу, аморфная анатомия - нехорошо

• От $0.014 за секунду видео
• Промокод для новых пользователей: VIDUQ4PV1

Ретвит и комментарий под анонсом в X приносит 200 кредитов в личку, акция на 72 часа

Кажется уже на Fal, wavespeed.ai

#t2v #i2v

MAX