Он красиво молчал, а потом вы даете ему текст.
И получается «у нее преждевременные, началась родильная деятельность».

В нейросетевых видео человек может стоять под дождём, смотреть на горящий город и выглядеть на бюджет небольшой европейской страны.

Потом он открывает рот.

И выясняется, что вместо «Привет, дорогая как дела» он говорит «Привит Олег, как Дима».

С русской речью в ИИ-видео (особенно в Seedance 2.5) есть несколько способов работать. Выбирать стоит заранее: от этого зависит, нужен ли вам крупный план героя или лучше дать ему отвернуться к окну и пережить всё спиной.

Вот пять вариантов.

1. Сначала голос. Потом человек, которому придётся это сказать

Записываете речь сами или делаете её в сервисе, генераторе голоса. Проверяете слова, ударения, интонацию, паузы. Слушаете, сколько секунд занимает реплика.
Потом загружаете запись в Seedance как аудиореференс вместе с изображением персонажа.

Модель пытается построить сцену и движения губ под ваш голос. Удобно для коротких диалогов, особенно когда вы уже знаете, где герой должен замолчать, вздохнуть и посмотреть на собеседника с выражением «наследство мы всё-таки перепишем».
Но аудиореференс — ещё не нотариально заверенная реплика. Модель может изменить речь, а губы могут не попасть в звук.
Поэтому после генерации слушаем и смотрим. Особенно внимательно — если герой называет цену, фамилию или обещает кому-нибудь вечную любовь. У меня персонаж один раз вместо Ленинграда 5 раз подряд говорил «Лебедих».

2. Сначала хорошая сцена. Рот доделаем отдельно

Генерируете видео. Отдельно готовите русскую озвучку. Затем отдаёте оба файла в инструмент липсинка — синхронизации губ с речью.
Это отдельный этап производства. Здесь удобно работать с точным рекламным текстом и репликами, в которых важны конкретные слова.
Герой может выглядеть как падший ангел, но произнести «скидка действует до тридцатого ноября» он должен без творческих разночтений.
Лучше выбирать кадр, где лицо достаточно крупное и рот хорошо виден. Резкие повороты, рука у лица, несколько говорящих одновременно усложняют задачу.

Если персонаж произносит главную реплику, уткнувшись в меховой воротник, у вас уже есть режиссёрское решение. Для липсинка оно неудобное.

3. Пусть сначала поговорит по-английски

Иногда сцена уже получилась. Люди убедительны, паузы на месте, между ними что-то происходит. Жалко отправлять всё на пересъёмку из-за языка.
Тогда берём готовое видео с иностранной речью и делаем русский дубляж через сервис перевода видео.

Проверяем перевод. Проверяем эмоции. Проверяем, помещается ли русская фраза в отведённое ей время.

Там, где англичанин коротко отказал, русский может добавить «да я люблю тебя, да он не любит тебя». А герой уже вышел из комнаты.

Синхронизация губ в таком сервисе может быть отдельной функцией. Наличие перевода само по себе её не обещает, смотрите, что поддерживает выбранный режим.

4. Отведите камеру. Человек имеет право говорить за кадром

Генерируете видео без диалога. Записываете русский голос. Накладываете его в CapCut.
Липсинк не нужен, если говорящего не видно или его рот остаётся вне кадра.

Так можно делать закадровый рассказ, внутренний монолог, рекламу, разговор по рации. Показывать реакцию слушателя, руки, дорогу, пустую кухню после ссоры. Кино давно умеет обходиться без непрерывного осмотра чужих зубов.
Но если человек отчётливо говорит прямо в кадре, наложенная сверху дорожка выдаст несовпадение. Тут одного желания сэкономить на этапе производства недостаточно.

5. Верните нам зарубежный фильм из детства

Оставляете иностранную речь тихо слышимой. Поверх кладёте русский перевод с небольшим запозданием.
Можно одним голосом. Можно несколькими.
За кадром спокойно сообщают, что Джон больше никому не доверяет. Сам Джон ещё продолжает что-то объяснять по-английски, но его судьба для нас уже решена.
Это переводная закадровая озвучка. Липсинк здесь намеренно не делается. Приём подходит для юмора, стилизации и атмосферных кинофрагментов.

S04 E25 1️⃣ Grigòr, the Creator