MusicGen прикрутили в демку для генерации музыки по изображению. Можно также добавить в качестве затравки кусочек музыки. Следющим постом прикреплю как он себе представляет рикролл

А вообще у этого автора много интересных спейсов на HF

#image2music #text2music #music2music #audio

Audio Webui

Инсталлятор для опенсорсных аудионейросетей.
Сам не пробовал, на вопросы ответить не смогу

Гитхаб
Колаб
Твиттер с примерами

#tools #audio

UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance

MiMo-Audio

Универсальная генеративная аудио-языковая модель, которая работает с текстовыми и аудиоданными.

Бьет Gemini-2.5-Flash на понимании аудио
Бьет GPT-4o-Audio на комплексном рассуждении

Всего 7B параметров, опенсорс

— понимает аудио и рассуждает

— ведёт диалоги и распознаёт эмоции

— описывает аудиоконтент

— работает с разными языками и диалектами - упоминается английский, есть пирмер приветствия на трех языках. Вангую что с русским у него пока неважно.

— продолжает речь в разных стилях

— обучается на основе инструкций

Гитхаб
HF - есть MiMo-Audio-Tokenizer, MiMo-Audio-7B-Base и MiMo-Audio-7B-Instruct
Демо - сейчас какие-то проблемы с соединением

#audio #audio2audio #reasoning #assistant #voicemode #speech2peech #audio2text #captioning

ComfyAudio: ComfyUI for Audio

Форк #ComfyUI для работы со звуком

Не совсем понимаю зачем, не пробовал работать со звуком в комфи, там же есть ноды для звука

#audio

ComfyUI SAM-Audio

Подъехали кастомноды изолятора звуков SAM-Audio

#audioseparation #comfyui #audio #demix #unmix