Бонус
Аудиоредактор Audacity с интергрированным доступом к нейросеткам с HuggingFace от авторов VampNet (предыдущий пост). Это неофициальная пока сборка в статусе Pull request на гитхабе Audacity

#audio2audio #tools

Подъехал демоспейс VampNet

#music2music #audio2audio

Unloop

ИИ-лупер для музыкантов c VampNet под капотом. Придумывает на лету свои вариации сыгранных вами фрагментов.

Unloop представляет собой патч для MAX. Надеюсь, музыканты знают что это такое, потому что я не знаю. Инструкция по установке по ссылке:

Код

#music2music #audio2audio #AImusic

Голландский диджей Уммет Озкан показывает как превращать свой голос в любые музыкальные инструменты с помощью Musicfy (от $7.99 в месяц).

Можно напеть мелодию и получить полноценный инструментальный трек.

Полная инструкция

#voice2music #audio2audio #sound2music #music2music

AudioSR: Versatile Audio Super-resolution at Scale

Улучшение качества звука на основе диффузии. Музыка, речь - все улучшит.
На примерах звучит волшебно.
AudioSR может преобразовать любой входной аудиосигнал в диапазоне частот от 2 кГц до 16 кГц в аудиосигнал высокого разрешения с полосой пропускания 24 кГц и частотой дискретизации 48 кГц.
Одно из применений - улучшение результатов генераторов музыки и речи.

Код

#audio2audio #upsample #audioenhance #audiodenoise

Loop Copilot: Conducting AI Ensembles for Music Generation and Iterative Editing

Система генерации и изменения музыки через указания на естественном языке.
За понимание указаний, разумеется, отвечает языковая модель. Ну а для собственно музыки под капотом присутствуют генератор MusicGen, экстрактор стемов (отдельных источников звука) Demucs, генератор VampNet и описатель LP-MusCaps

Тренд интеграции разных нейросеток в один инструмент продолжает усиливаться.

Кода пока нет

#LLM #text2music #music2music #audio2audio

Resemble Enhance: Open Source Speech Super Resolution AI Model

Наконец достойный опенсорсный конкурент чистки звука Nvidia Broadcast/Adobe enhance

Код
Демо
Колаб

#audio2audio #audiodenoise #audioenhance

Voice isolator

Изоляция голоса от Elevenlabs

#audio2audio #voice #unmix #audio2stem

Fast Music Remover

Удаление фонового шума с аудиозаписи

Код

#noisereduction #audio2audio #audio2stem #audioseparation #voiceisolation

Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation

Генератор звука по тексту, по входному звуку, инпейнтинг звука, примеры по ссылке в заголовке

Умеет:
- контроль акустики
- контроль материала предметов, издающих звук
- контроль высоты тона
- контроль хронологии событий

Демо
Код
Колаб ноутбуки

#text2audio #tta #audio2audio #audioinpainting

Bleep That Sh*t

Автоматически запикиваем любые заданные слова на видео

Под капотом Whisper, так что должно работать с русским языком

Код

#speech2speech #audio2audio

MiMo-Audio

Универсальная генеративная аудио-языковая модель, которая работает с текстовыми и аудиоданными.

Бьет Gemini-2.5-Flash на понимании аудио
Бьет GPT-4o-Audio на комплексном рассуждении

Всего 7B параметров, опенсорс

— понимает аудио и рассуждает

— ведёт диалоги и распознаёт эмоции

— описывает аудиоконтент

— работает с разными языками и диалектами - упоминается английский, есть пирмер приветствия на трех языках. Вангую что с русским у него пока неважно.

— продолжает речь в разных стилях

— обучается на основе инструкций

Гитхаб
HF - есть MiMo-Audio-Tokenizer, MiMo-Audio-7B-Base и MiMo-Audio-7B-Instruct
Демо - сейчас какие-то проблемы с соединением

#audio #audio2audio #reasoning #assistant #voicemode #speech2peech #audio2text #captioning

Elevenlabs VOICE ISOLATOR

Elevenlabs запустили функцию очистки голосовых записей от шумов.
Прямой конкурент Adobe podcast

На бесплатном тарифе дают 10 минут обработать бесплатно

Но я смог потестить инкогнито, не логинясь...
Но надо притвориться что вы не в России.
Результат кину в коменты, и для сравнения результат от Adobe

#audio2audio #audiodenoise #audioenhance #enhance #voiceseparation #demix

Sommelier

Опенсорсный пайплайн для обработки подкастов и других аудиофайлов.


разделяет спикеров

распознаёт речь

удаляет фоновую музыку

ставит метки на уровне слов.

Использует модели: NeMo Sortformer, Whisper, Parakeet, Canary, PANNs, Demucs.

Гитхаб

#asr #captioning #audio2audio

AudioX-Turbo

Генератор аудио из разных типов данных (текст, видео, аудио) аз 4 шага. Ускоренная версия AudioX, вышедшего 4 месяца назад

Построен по схеме "учитель‑ученик": учитель - AudioX‑Base с модулем MAF (Multimodal Adaptive Fusion), ученик - AudioX‑Turbo

Работает быстрее многошаговых аналогов при том же или лучшем качестве

Гитхаб
HF

#any2audio #text2music #video2music #foley #sfx #audio2audio

Declick-GUI

Чистка щелчков в аудиогенерациях F5-TTS

Простой GUI-скрипт, который убирает щелчки и прочие короткие артефакты, проскакивающие в паузах после синтеза F5-TTS. Что-то вроде Audacity на минималках, но заточенное под одну задачу и без лишнего.

#cleanup #audio2audio #denoise

VK | MAX