Как Якудза нашла мне работу?

Я сделал ролик про Якудзу и получил заказ из Италии на криминальный интернет-сериал.

До чего приятно, когда люди понимают друг друга через культурный контекст. Только вдумайтесь. Армянин из России сделал что-то про Японию и нашел общий (английский) язык с итальянцем. Посмотрим, что из этого выйдет.

Заодно ролик набрал больше 140 тысяч просмотров и привёл 2500 подписчиков в запрещённой соцсети.

Пока одни обсуждают, отнимут ли нейросети у нас работу, японская организованная преступность помогает мне её найти.

Как я сделал это видео?

Сейчас будет неприятно тем, кто продаёт секретные знания в закрытом канале с названием «НЕЙРОПРОРЫВ».

Codex пишет промпты.
Midjourney делает картинки.
Seedance 2.5 их анимирует.

В технической части моего рассказа уже наступил конец. Можете выйти, размяться.

Но я бы задержался.

Потому что между «я тоже умею нажимать эту кнопку» и «мне заказали сериал» помещается довольно интересная жизнь.

Допустим, вам нужен японский бандит.

Вы пишете: «Якудза, татуировки, дорогой костюм, кинематографично, шедевр, 8К». Получается что-то.
Формально всё на месте. Япония есть. Костюм есть. Восемь тысяч чего-то тоже присутствуют.
А крутость из экрана не передается.

Не стоит забывать, что для того, чтобы сделать что-то похожее на кино, кроме гангстеров обязательно нужны девушки и оружие.

Теперь представьте: молодой таттуированный якудза завтракает в окружении вооруженных до зубов людей. Что происходит? Его люди? Или последняя еда?

Что-то сейчас будет.
Возможно, ничего. Но вы уже смотрите на эту салфетку внимательнее, чем на годовой отчёт собственной компании.

Вот с этого я предлагаю начинать.

Мне нравится, как в азиатском кино, клипах и модной съёмке обращаются со стилем. Как могут одеть человека в совершенно неприличный пиджак, поставить под зелёную лампу — и ты веришь, что он владеет миром. У нас в таком пиджаке попросили бы провести юбилей.

Цвет, одежда, поза, пространство, одна подозрительная деталь. Всё участвует. Нейросети дают возможность пробовать такие сочетания, пока не найдёшь то, от чего самому хочется придвинуться к экрану.

Теперь обещанные настройки Midjourney. Для старта можно попробовать:

--ar 9:16 --raw --s 100
--ar 9:16 — вертикальный кадр.
--raw — меньше автоматического украшательства, больше влияния вашего описания.
--s 100 — начальная точка для стилизации. Можно повышать и смотреть, что происходит. Только не надо считать, что на тысяче у вас проснётся Куросава. Там вообще безумие начинается.

А вообще, важно понимать, что Midjourney — все таки полнейший отстой, если вы хотите снять разговорную сцену. Крайне просто крайне пластиковые или зализанные лица.

Поэтому в видео, как у меня важно давать очень слабую анимацию, всего одно движение, дальние, общие планы и менять кадр, пока никто ничего не заметил. Об этом дальше.

Дальше — Seedance 2.5. Загружаем картинку, задаём движение.

И здесь человека подстерегает радость владельца нового перфоратора. Хочется, чтобы двигалось всё. Камера облетала голову, голова поворачивалась, за спиной взрывался автомобиль, из автомобиля выходил ещё один автомобиль.

Попробуйте для начала попросить героя поднять глаза.

Если вы удачно выбрали лицо и момент, этого хватит. Зритель сам додумает неприятности. У него богатый жизненный опыт, не мешайте.
Самая интересная настройка во всей этой истории — то, что нравится лично вам.

Почему вы оставили именно этот кадр? Почему убрали красивый? Почему здесь нужна пауза, хотя нейросеть любезно предлагает ещё немного пожара?
Вот за эти решения и приходится отвечать.

Разумеется, из одного удачного ролика нельзя вывести формулу, по которой каждому положены подписчики и заказы. Было бы удобно. Я бы уже сидел у моря и продавал таблицу, но подобный ролик про чернокожих американских гангстеров, например, не зашел.

И здесь кроется последний совет, который вы уже слышали. Найдите свой формат, в котором вам комфортно и делайте в этом формате несколько видео. Если каждый третий будет давать результат, уже хорошо.

S04 E24 1️⃣ Grigòr, the Creator

Он красиво молчал, а потом вы даете ему текст.
И получается «у нее преждевременные, началась родильная деятельность».

В нейросетевых видео человек может стоять под дождём, смотреть на горящий город и выглядеть на бюджет небольшой европейской страны.

Потом он открывает рот.

И выясняется, что вместо «Привет, дорогая как дела» он говорит «Привит Олег, как Дима».

С русской речью в ИИ-видео (особенно в Seedance 2.5) есть несколько способов работать. Выбирать стоит заранее: от этого зависит, нужен ли вам крупный план героя или лучше дать ему отвернуться к окну и пережить всё спиной.

Вот пять вариантов.

1. Сначала голос. Потом человек, которому придётся это сказать

Записываете речь сами или делаете её в сервисе, генераторе голоса. Проверяете слова, ударения, интонацию, паузы. Слушаете, сколько секунд занимает реплика.
Потом загружаете запись в Seedance как аудиореференс вместе с изображением персонажа.

Модель пытается построить сцену и движения губ под ваш голос. Удобно для коротких диалогов, особенно когда вы уже знаете, где герой должен замолчать, вздохнуть и посмотреть на собеседника с выражением «наследство мы всё-таки перепишем».
Но аудиореференс — ещё не нотариально заверенная реплика. Модель может изменить речь, а губы могут не попасть в звук.
Поэтому после генерации слушаем и смотрим. Особенно внимательно — если герой называет цену, фамилию или обещает кому-нибудь вечную любовь. У меня персонаж один раз вместо Ленинграда 5 раз подряд говорил «Лебедих».

2. Сначала хорошая сцена. Рот доделаем отдельно

Генерируете видео. Отдельно готовите русскую озвучку. Затем отдаёте оба файла в инструмент липсинка — синхронизации губ с речью.
Это отдельный этап производства. Здесь удобно работать с точным рекламным текстом и репликами, в которых важны конкретные слова.
Герой может выглядеть как падший ангел, но произнести «скидка действует до тридцатого ноября» он должен без творческих разночтений.
Лучше выбирать кадр, где лицо достаточно крупное и рот хорошо виден. Резкие повороты, рука у лица, несколько говорящих одновременно усложняют задачу.

Если персонаж произносит главную реплику, уткнувшись в меховой воротник, у вас уже есть режиссёрское решение. Для липсинка оно неудобное.

3. Пусть сначала поговорит по-английски

Иногда сцена уже получилась. Люди убедительны, паузы на месте, между ними что-то происходит. Жалко отправлять всё на пересъёмку из-за языка.
Тогда берём готовое видео с иностранной речью и делаем русский дубляж через сервис перевода видео.

Проверяем перевод. Проверяем эмоции. Проверяем, помещается ли русская фраза в отведённое ей время.

Там, где англичанин коротко отказал, русский может добавить «да я люблю тебя, да он не любит тебя». А герой уже вышел из комнаты.

Синхронизация губ в таком сервисе может быть отдельной функцией. Наличие перевода само по себе её не обещает, смотрите, что поддерживает выбранный режим.

4. Отведите камеру. Человек имеет право говорить за кадром

Генерируете видео без диалога. Записываете русский голос. Накладываете его в CapCut.
Липсинк не нужен, если говорящего не видно или его рот остаётся вне кадра.

Так можно делать закадровый рассказ, внутренний монолог, рекламу, разговор по рации. Показывать реакцию слушателя, руки, дорогу, пустую кухню после ссоры. Кино давно умеет обходиться без непрерывного осмотра чужих зубов.
Но если человек отчётливо говорит прямо в кадре, наложенная сверху дорожка выдаст несовпадение. Тут одного желания сэкономить на этапе производства недостаточно.

5. Верните нам зарубежный фильм из детства

Оставляете иностранную речь тихо слышимой. Поверх кладёте русский перевод с небольшим запозданием.
Можно одним голосом. Можно несколькими.
За кадром спокойно сообщают, что Джон больше никому не доверяет. Сам Джон ещё продолжает что-то объяснять по-английски, но его судьба для нас уже решена.
Это переводная закадровая озвучка. Липсинк здесь намеренно не делается. Приём подходит для юмора, стилизации и атмосферных кинофрагментов.

S04 E25 1️⃣ Grigòr, the Creator