UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance

TTS Generation WebUI

А тут агрегатор генераторов звука по тексту. Речь, музыка. Разложение музыки на стемы (отдельные партии) тоже есть

Код
Колаб

#tools #TTS #demucs #demix

TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation

Легковесная китайская модель для разделения речи, музыки, эффектов

Хвастаются что бьют #SOTA модель TF-GridNet

Код

#audioseparation #demix #unmix

MVSEP

Сервис для разделения музыки на стемы

Разделяет на вокал, бас, ударные, гитару, фортепиано и остальное - 6 стемов.
Недавно добавили в парк моделей BS-RoFormer, модели уже 2 года, но недавно была обновка. А вообще ее спонсировали Stability AI и HuggingFace, и на изоляции вокала там #SOTA (не знаю удержалил ли трон к настоящему времени)

Есть бесплатный тариф

#audioseparation #demix #unmix

Elevenlabs VOICE ISOLATOR

Elevenlabs запустили функцию очистки голосовых записей от шумов.
Прямой конкурент Adobe podcast

На бесплатном тарифе дают 10 минут обработать бесплатно

Но я смог потестить инкогнито, не логинясь...
Но надо притвориться что вы не в России.
Результат кину в коменты, и для сравнения результат от Adobe

#audio2audio #audiodenoise #audioenhance #enhance #voiceseparation #demix

ComfyUI SAM-Audio

Подъехали кастомноды изолятора звуков SAM-Audio

#audioseparation #comfyui #audio #demix #unmix

Comfy-MSS

Кастом пак для разделения музыки на дорожки отдельных инструментов на базе Python-библиотеки pymss

#comfyui #demix #unmix #audioseparation #music2stem

AuK (Tencent Hunyuan)

Универсальная модель речи: генерация, редактирование, очистка и разделение

Все через указания естественным языком

- Клонирование голоса: текст + референс голоса
- Instruct TTS: голос по описанию без референса
- Редактирование содержимого: заменил/вставил/удалил слова, переписал слова в песне с сохранением мелодии
- Акустика: питч, скорость, громкость
- Паралингвистика: эмоция, тембр, убирает акцент, дыхание/смех/кашель, обычная речь - шепот
- Очистка и разделение: улучшение речи, разделение говорящих, извлечение вокала из микса, выделение цели по сказанному

- 1.5B, MIT
- AuK-Flash: 4 шага, в 4.5x быстрее

Русский не заявлен, но текстовый энкодер - мультиязыный Qwen2.5-Omni-3B, так что пробуйте

Гитхаб
HF
Демо
ComfyUI Спасибо @m_franz

#tts #voiceclonihng #voicedesign #alm #demix #audioseparation

DBS (Dynamic Band Splitting)

Метод разделения аудиоисточников от Tsinghua: границы частотных полос подстраиваются под каждый микс, а не задаются заранее. Бюджет токенов при этом фиксированный.

Как работает
• Предсказывает границы полос по содержимому внутри частотных блоков
• Отбирает заданное число границ через hard Top-K
• Пулит полосы с учётом содержимого в компактные токены
• После разделения сглаживает и растягивает токены обратно на сетку STFT
• Уточняет их по частоте и декодирует комплексные маски общей по частоте головой

Две версии
• DBS-BSRNN: 4.7M, окна по 3 секунды
• DBS-TIGER: 1M, окна по 6 секунд

Обе делят монодорожку 44.1 кГц на музыку, звуковые эффекты и речь. BSRNN тяжелее и аккуратнее на коротких окнах, TIGER компактнее и смотрит дальше по времени

hf.co/JusperLee/DBS-TIGER-DnR
hf.co/spaces/JusperLee/DBS-Demo
github.com/JusperLee/Dynamic-Band-Splitting

#audioseparation #demix #unmix