Метаверсище и ИИще

FLUX 3 Video вышел в API

Ортодоксы, староверы и консерваторы победили. Но у меня нейросоломоново решение: пишу в старом формате, короткий пост-абзац в начале, подробности после него.

Мне жутко нравится возможность подписывать картинки и видео в постах, но в старом формате будут просто свалки.

TL;DR. Black Forest Labs наконец-то бахнули FLUX 3 Video через API. Модель делает до 20 секунд видео со звуком, липсинком, несколькими сценами, ключевыми кадрами и продолжением готового ролика. Первые тесты выглядят прельстиво: длинные планы не рассыпаются, звук норм, персонажи иногда даже помнят, кем были пять секунд назад.
Русский язык заявлен официально. Есть Draft Mode: сначала дёшево смотришь, насколько модель испортила идею, потом платишь ещё раз за красивую версию того же промпта. Если без шуток, то Draft Mode: сначала генерируется дешёвый черновик, а понравившуюся версию можно пересчитать в полном качестве с тем же движением, композицией и seed.

Подробнее:

Базовая генерация идёт в 720p, а Full HD получается через апскейлинг. FLUX 3 Image - не доступен. На вход можно подать обычный текстовый промпт, одну картинку, начальный и конечный кадры, последовательность ключевых кадров или до четырёх секунд исходного видео со звуком, которое модель должна продолжить.

Кстати, у Флюксовицкого нет такого полноценного reference-to-video, как у MiniMax H3, где можно отдельно загрузить до 9 картинок, 3 видео движения и 3 аудио, а потом обращаться к ним в промпте.

Цены

У BFL и fal обычная генерация в 720p стоит примерно $0,17 за секунду. Десять секунд - $1,70, двадцать - $3,40.
1080p на fal и Runware стоит около $0,29 за секунду, то есть $2,90 за десять секунд и $5,80 за двадцать.

Draft Mode на fal дешевле - около $0,06 за секунду. Replicate в некоторых режимах выходит примерно в $0,12 за секунду, хотя итог зависит от настроек.
Krea продаёт доступ через подписку и compute units: специально для тех, кто любит сначала купить кредитов, а потом выяснять, на сколько роликов его хватит.
Хиггсы, что удивительно, молчат.
Replicate сейчас указывает примерно 83 секунды генерации за $10, что соответствует приблизительно $0,12 за секунду. Это выглядит дешевле BFL и fal, хотя окончательная стоимость может зависеть от выбранного режима и разрешения

Тесты и черрипики демонстрируют длинные непрерывные планы, танцы с липсинком, говорящих персонажей и сцены с нескольких ракурсов. Особенно прикольные тесты, где одно событие одновременно показано двумя камерами. FLUX 3 пытается сохранить траекторию движения и расположение объектов. Не всегда идеально, но хотя бы понимает, что кот сверху и кот сбоку - это один кот, а не Шредингер попутал.

На реддите, как обычно ноют и ругаюцца.

Типа FLUX 3 зажал веса, а H3 уже тут, и наваливает NSFW.

В API FLUX 3 есть safety-фильтры, но Reddit подозревает, что часть ограничений сидит и в самой модели.

Пока BFL тормозит, MiniMax H3 уже работает локально, обрастает workflow и собирает вокруг себя сообщество.

Ждем весов и подлянок с дистиллятом.

https://bfl.ai/blog/flux-3-video

https://fal.ai/models/blackforestlabs/flux-3/keyframes-to-video

@cgevent

👎17❤16👍9🔥2

10.4K views15:06