FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds

генератор звуковых эффектов по видео. Можно добавлять текстовый промпт

Код ждем
Демо

#video2audio #video2sound

MultiFoley

Генератор звука по видео от Adobe
Кода нет, ждем в Premiere

#video2sound #video2audio

MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis

Генератор звука по видео или текстовому описанию

Код
Демо
Колаб

#video2audio #video2sound #text2audio

Появились ноды для генератора звука MMAudio
Спасибо @p0lygon

ComfyUI-MMAudio

#ComfyUI

Kling Sound

А также выпустили генератор звуков для видео
Или просто по текстовому описанию

#video2sound #text2sound #sfx #foley

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx

ComfyUI HunyuanVideo-Foley

Подвезли ноду озвучивалки видео HunyuanVideo-Foley

#comfyUI #foley #video2audio #video2sound #sfx #video2sfx

Стало мне любопытно на каком языке озвучивает HunyuanVideo-Foley
Мне звучит как смесь китайского и немецкого.

Пихнул озвученный им самый драматичный эпизод русских сериалов в разные нейродубляжки. Мало кто умеет автоматически определять язык исходника. Rask.ai - один из тех кто умеет. Короче все кто умеет, определили эту речь как английскую. Ну и неудивительно, шотландцы например порой разговаривают на таком английском который мало кто из носителей языка в силах понять.

Ну и дубляж на русский с нейросетевого - вашему вниманию.

Хвастайтесь в коментах своими экспериментами

#humor #foley #video2audio #video2sound #sfx #video2sfx

ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation

Генератор бинаурального аудио напрямую из видео на базе MMAudio, который хорошенько доработали напильником

Код ждем

#video2audio #video2sound #video2sfx