Накопилось уже целых три ИИ-инструмента для улучшения звука, и я сделал для вас небольшое сравнение на ютуб шортс: https://youtu.be/cY1fiNkzdcU

У каждого из них свои особенности
NVIDIA Broadcast - Устанавливается локально, работает только в рилтайме
neural.love - онлайн, только за деньги (крохотный тестовый кусочек с низким битрейтом не в счет)
Adobe podcast - Чистая магия, но онлайн, а значит, ее могут отключить в любой момент

Нужен ли подробный разбор, инструкция, пример применения?

#audio2audio #audiodenoise #audioenhance

AudioSR: Versatile Audio Super-resolution at Scale

Улучшение качества звука на основе диффузии. Музыка, речь - все улучшит.
На примерах звучит волшебно.
AudioSR может преобразовать любой входной аудиосигнал в диапазоне частот от 2 кГц до 16 кГц в аудиосигнал высокого разрешения с полосой пропускания 24 кГц и частотой дискретизации 48 кГц.
Одно из применений - улучшение результатов генераторов музыки и речи.

Код

#audio2audio #upsample #audioenhance #audiodenoise

UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance

Resemble Enhance: Open Source Speech Super Resolution AI Model

Наконец достойный опенсорсный конкурент чистки звука Nvidia Broadcast/Adobe enhance

Код
Демо
Колаб

#audio2audio #audiodenoise #audioenhance

NVIDIA Broadcast 2.0.0

День звука на канале продолжается

Обновилась утилита рилтаймовой обработки звука и видео

По звуку:
удаляет эхо, посторонний шум, оставляя голос. наверчивает ИИ-эквалазер, приближая говномикрофоны к студийному качеству

По видео: направляет зрачки в камеру, блюрит фон, заменяет фон, удаляет шум. Релайтинг лица - подсвечивает лицо виртуальным источником.

#realtime #streaming #denoise #audioenhance #eyecontact #bgreplacement #bg #relighting #deecho

Elevenlabs VOICE ISOLATOR

Elevenlabs запустили функцию очистки голосовых записей от шумов.
Прямой конкурент Adobe podcast

На бесплатном тарифе дают 10 минут обработать бесплатно

Но я смог потестить инкогнито, не логинясь...
Но надо притвориться что вы не в России.
Результат кину в коменты, и для сравнения результат от Adobe

#audio2audio #audiodenoise #audioenhance #enhance #voiceseparation #demix

NovaSR: Pushing the Limits of Extreme Efficiency in Audio Super-Resolution

Апсемплер для улучшения качества аудио. Превращает приглушённое аудио с частотой 16 кГц в более чёткое с частотой 48 кГц

Делает это очень быстро — от 100 до 3500 раз быстрее реального времени, в зависимости от GPU

Весит всего 52 КБ в версии PyTorch — это намного меньше, чем у аналогов

В общем, пригодно для улучшения качества TTS-говорилок почти без затрат вычислительных ресурсов

Гитхаб
HF
Демо

#enhance #audioenhance

Stream.FM

Рилтаймовый улучшайзер-реставратор речи в реальном времени на основе flow matching

• подавляет шум
• убирает реверберацию
• обрабатывает кодеки
• повышает частотный диапазон аудиосигнала
• восстанавливает фазу STFT
• Mel‑вокодирование

Алгоритмическая задержка - 32 мс, общая задержка — 48 мс
Есть вариант с задержкой 24 мс для шумодава
Работает на потребительских GPU

Гитхаб
Веса

#enhance #audioenhance #denoise #deecho #speesh2speech