FLUX 3 Video вышел в API

Ортодоксы, староверы и консерваторы победили. Но у меня нейросоломоново решение: пишу в старом формате, короткий пост-абзац в начале, подробности после него.

Мне жутко нравится возможность подписывать картинки и видео в постах, но в старом формате будут просто свалки.

TL;DR. Black Forest Labs наконец-то бахнули FLUX 3 Video через API. Модель делает до 20 секунд видео со звуком, липсинком, несколькими сценами, ключевыми кадрами и продолжением готового ролика. Первые тесты выглядят прельстиво: длинные планы не рассыпаются, звук норм, персонажи иногда даже помнят, кем были пять секунд назад.
Русский язык заявлен официально. Есть Draft Mode: сначала дёшево смотришь, насколько модель испортила идею, потом платишь ещё раз за красивую версию того же промпта. Если без шуток, то Draft Mode: сначала генерируется дешёвый черновик, а понравившуюся версию можно пересчитать в полном качестве с тем же движением, композицией и seed.

Подробнее:

Базовая генерация идёт в 720p, а Full HD получается через апскейлинг. FLUX 3 Image - не доступен. На вход можно подать обычный текстовый промпт, одну картинку, начальный и конечный кадры, последовательность ключевых кадров или до четырёх секунд исходного видео со звуком, которое модель должна продолжить.

Кстати, у Флюксовицкого нет такого полноценного reference-to-video, как у MiniMax H3, где можно отдельно загрузить до 9 картинок, 3 видео движения и 3 аудио, а потом обращаться к ним в промпте.

Цены

У BFL и fal обычная генерация в 720p стоит примерно $0,17 за секунду. Десять секунд - $1,70, двадцать - $3,40.
1080p на fal и Runware стоит около $0,29 за секунду, то есть $2,90 за десять секунд и $5,80 за двадцать.

Draft Mode на fal дешевле - около $0,06 за секунду. Replicate в некоторых режимах выходит примерно в $0,12 за секунду, хотя итог зависит от настроек.
Krea продаёт доступ через подписку и compute units: специально для тех, кто любит сначала купить кредитов, а потом выяснять, на сколько роликов его хватит.
Хиггсы, что удивительно, молчат.
Replicate сейчас указывает примерно 83 секунды генерации за $10, что соответствует приблизительно $0,12 за секунду. Это выглядит дешевле BFL и fal, хотя окончательная стоимость может зависеть от выбранного режима и разрешения

Тесты и черрипики демонстрируют длинные непрерывные планы, танцы с липсинком, говорящих персонажей и сцены с нескольких ракурсов. Особенно прикольные тесты, где одно событие одновременно показано двумя камерами. FLUX 3 пытается сохранить траекторию движения и расположение объектов. Не всегда идеально, но хотя бы понимает, что кот сверху и кот сбоку - это один кот, а не Шредингер попутал.

На реддите, как обычно ноют и ругаюцца.

Типа FLUX 3 зажал веса, а H3 уже тут, и наваливает NSFW.

В API FLUX 3 есть safety-фильтры, но Reddit подозревает, что часть ограничений сидит и в самой модели.

Пока BFL тормозит, MiniMax H3 уже работает локально, обрастает workflow и собирает вокруг себя сообщество.

Ждем весов и подлянок с дистиллятом.

https://bfl.ai/blog/flux-3-video

https://fal.ai/models/blackforestlabs/flux-3/keyframes-to-video

@cgevent

Обновы для Минимакса H3

Новые GGUF-кванты
- FL2VA - T2V, I2V, первый и последний кадр
- Ref2VA - изображения, видео и аудио как референсы
- Q3_K_S / Q3_K_M - 15.6 ГБ
- Q4_0 - 18.6 ГБ
- Q4_K_S / Q4_K_M - 19.9 ГБ
- Q5_0 - 22.8 ГБ
- Q5_K_S / Q5_K_M - 23.9 ГБ
Там же появился Q4_K_M-квант Qwen3-VL-32B text encoder размером 14.6 ГБ.
То есть минимальный комплект «трансформер + энкодер + VAE» теперь можно собрать как бы компактнее прежнего варианта с NVFP4-энкодером на 27.1 ГБ. Там же есть готовые workflow для FL2VA и Ref2VA.
Пока это самопальные кванты, а не официальный релиз Comfy
https://huggingface.co/Abiray/MiniMax-H3-GGUF


Новые официальные варианты от Comfy-Org и Kijai
В официальном репозитории Comfy-Org появились:
- minimax_h3_fl2va_pruned_bf16.safetensors
- minimax_h3_ref2va_pruned_bf16.safetensors
- minimax_h3_fl2va_pruned_fp8_scaled.safetensors
- minimax_h3_ref2va_pruned_fp8_scaled.safetensors
Pruned BF16 были загружены Kijai около 16 часов назад. Типа качество BF16 полного 66-гигабайтного трансформера. FP8 scaled появились немного раньше и должны стать промежуточным вариантом между BF16 и pruned INT8 по памяти и точности.
https://huggingface.co/Comfy-Org/MiniMax-H3/commits/main

Минимаксенко обрастает мясом. Новый ЛТХ. Ждем Ответа Флюксовицкого.

На видео сравнение Flux.3 API и MinimaxH3
Подписать не могу, гадайте сами.. Смышленые посмотрят длительность.

@cgevent

ByteDance бахнула SeedRealtime

Это прям ответочка Алибабскому на Wan Streamer.

Они выкатили SeedRealtime, нативную аудиовизуальную full-duplex-модель. На понятном это значит, что ассистент может непрерывно смотреть видео, слушать пользователя и отвечать голосом, не устраивая привычную драму «сначала вы договорите, потом я подумаю».

Главное отличие от обычных голосовых ассистентов - единая архитектура для аудио, видео и текста. Модель учитывает не только отдельные кадры, но и временную последовательность событий, умеет связывать сказанное с происходящим в кадре и различать, обращаются ли вообще к ней. Например, она может понять двусмысленную фразу по визуальному контексту или отреагировать на объект, который только что появился в поле зрения.

Еще наряднее то, что SeedRealtime умеет проявлять инициативу. ByteDance утверждает, что модель может сама сообщить об изменении в кадре, подключить инструмент прямо во время разговора, корректно обработать перебивание и не срываться на каждый шорох или разговор посторонних.

Открытых весов пока нет.

Тут битва идёт не за то, кто лучше отвечает на вопрос, а за то, кто меньше похож на бота с задержкой.

Ссылки:

Официальный анонс ByteDance Seed: https://seed.bytedance.com/en/blog/seedrealtime-audio-visual-full-duplex-llm-released-toward-omni-modal-natural-interaction

Страница SeedRealtime: https://seed.bytedance.com/en/SeedRealtime

@cgevent

Нейрорендер 2Д

Если для Сиданского было (и есть) много примеров связки его с Блендором, то для Минимаксенко я вижу больше связок с Аффтором.

After Effects в освоении тоже не сахар, но все же не такая дичь, как Блендор.

Управлять можно светом, анимацией, формой.

Грубо говоря, AE shape animation -> Reference image плюс AE video + prompt

@cgevent