ComfyUI-TangoFlux

Для желающих заморочиться по генерации звуковых эффектов подвезли #ComfyUI ноды TangoFlux

#text2audio #text2sfx #foley

Kling Sound

А также выпустили генератор звуков для видео
Или просто по текстовому описанию

#video2sound #text2sound #sfx #foley

ThinkSound

Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.

Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя

Код
Демо

Спасибо @p0lygon

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx

Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна

Модель облегчили, оптимизировали расход памяти и GPU? упростили установку

Код
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx

ComfyUI HunyuanVideo-Foley

Подвезли ноду озвучивалки видео HunyuanVideo-Foley

#comfyUI #foley #video2audio #video2sound #sfx #video2sfx

Стало мне любопытно на каком языке озвучивает HunyuanVideo-Foley
Мне звучит как смесь китайского и немецкого.

Пихнул озвученный им самый драматичный эпизод русских сериалов в разные нейродубляжки. Мало кто умеет автоматически определять язык исходника. Rask.ai - один из тех кто умеет. Короче все кто умеет, определили эту речь как английскую. Ну и неудивительно, шотландцы например порой разговаривают на таком английском который мало кто из носителей языка в силах понять.

Ну и дубляж на русский с нейросетевого - вашему вниманию.

Хвастайтесь в коментах своими экспериментами

#humor #foley #video2audio #video2sound #sfx #video2sfx

WaveBlender: Practical Sound-Source Animation in Blended Domains

Создает звуковые эффекты на основе входной анимации с "аккустическими шейдерами". И вроде бы даже без нейросетей. Но посмотрите-послушайте что вытворяет.

Использует метод конечных разностей во временной области (FDTD) и ускоряется с помощью GPU.

— синтезирует звуки для различных существующих физических источников звука: воды, модальных источников, тонких оболочек, кинематических деформаторов

— создаёт точечные источники для маленьких твёрдых тел

— работает надёжно при разных разрешениях

— оптимизирована для работы на GPU

— может быть в 1000 раз быстрее, чем предыдущие волновые решатели на CPU

Stanford University / Adobe Research / NVIDIA

Код

#3d2sfx #foley #sfx #animation2sfx

MOSS-TTS Family

Набор открытых моделей для генерации речи и звуков. Транскрибатор от этой команды мы уже видели, и даже видеогенератор, а теперь целая мультиязычная пачка моделей

— генерируют длинную речь и не теряют качество

— клонирование голоса

— выразительные диалоги с несколькими говорящими

— дизайн голоса по текстовому описанию без примеров речи

— есть рилтаймовая модель

— создает звуковые эффекты по тексту

Гитхаб
HF
Демо - прокрутите страницу вниз
Демо HF
Студия - вход по китайскому номеру, как зарегаться - непонятно

#TTS #voicecloning #voicedesign #russian #text2sfx #foley #sfx #realtime #longspeech

ACE Studio Video Composer

ACE Studio научился анализитовать видеомонтаж с тем чтобы создать к нему соответствующий саундтрек - музыку + звуковые эффекты

#foley #video2sfx #video2music

MOSS-TTS-Nano

Версия говорилки на всего 100M параметров

— работает на процессоре без видеокарты

— 20 языков, включая русский

— может обрабатывать длинные тексты, автоматически разбивая их на части для клонирования голоса

— звук в формате 48 кГц, 2 канала

Гитхаб
HF
Демо
Студия - вход по китайскому номеру, как зарегаться - непонятно

#TTS #voicecloning #voicedesign #russian #text2sfx #foley #sfx #realtime #longspeech

SwanSphere

Потоковая система от Bytedance для генерации пространственного аудио в высоком качестве по панорамным видео или текстовым подсказкам.

Кода пока нет

#text2audio #video2audio #foley

AudioX-Turbo

Генератор аудио из разных типов данных (текст, видео, аудио) аз 4 шага. Ускоренная версия AudioX, вышедшего 4 месяца назад

Построен по схеме "учитель‑ученик": учитель - AudioX‑Base с модулем MAF (Multimodal Adaptive Fusion), ученик - AudioX‑Turbo

Работает быстрее многошаговых аналогов при том же или лучшем качестве

Гитхаб
HF

#any2audio #text2music #video2music #foley #sfx #audio2audio