Нейронавт | Нейросети в творчестве

VAST: Video-Audio Separation through Text. Language-Guided Audio-Visual Source Separation via Trimodal Consistency

Изоляция источников звука на видео по текстовому запросу. Этакий vocalremover на стероидах. Указываем кого хотим слышать, кого не хотим - получаем изолированный звук от выбранного источника

Код

#audio2audio #video2video #video2audio #audioseparation #unmix

591 views12:15

1:33

AudioSep: Separate Anything You Describe

Конкурент VAST. Отделяет заданный звук из микса по тестовому запросу

Код
Демо
Колаб

#audio2audio #audioseparation #unmix

❤1

945 views09:55

0:17

Fast Music Remover

Удаление фонового шума с аудиозаписи

Код

#noisereduction #audio2audio #audio2stem #audioseparation #voiceisolation

👍16🔥2❤1

2.02K views09:12

1:40

Media is too big

TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation

Легковесная китайская модель для разделения речи, музыки, эффектов

Хвастаются что бьют #SOTA модель TF-GridNet

Код

#audioseparation #demix #unmix

👍8❤1😁1🤔1

1.69K views08:10

MVSEP

Сервис для разделения музыки на стемы

Разделяет на вокал, бас, ударные, гитару, фортепиано и остальное - 6 стемов.
Недавно добавили в парк моделей BS-RoFormer, модели уже 2 года, но недавно была обновка. А вообще ее спонсировали Stability AI и HuggingFace, и на изоляции вокала там #SOTA (не знаю удержалил ли трон к настоящему времени)

Есть бесплатный тариф

#audioseparation #demix #unmix

👍8🔥3👎1

2.26K views07:11

1:09

0:09

SAM Audio

Изолятор источников звука на аудио (или видео со звуком) в реальном времени от Meta (запрещено в РФ)

Принимает три типа подсказок: текстовые, визуальные и временные. Например кликаем на видео на источник звука чтобы выделить его

Умеет изолировать как повседневные шумы так и музыкальные инструменты

Гитхаб
HF - доступ к моделям по запросу, могут не дать
Playground
Блогпост

Спасибо @EvgenyiPerm

#audioseparation #music2stem #demix #unmix #segmentation #denoise #audio2audio #multimodal

🔥10👍4🤯3👎1

1.84K views07:41

GitHub - t22m003/ComfyUI-sam-audio

ComfyUI SAM-Audio

Подъехали кастомноды изолятора звуков SAM-Audio

#audioseparation #comfyui #audio #demix #unmix

GitHub

Contribute to t22m003/ComfyUI-sam-audio development by creating an account on GitHub.

🔥11👍4❤1

2.3K views18:22

Comfy-MSS

Кастом пак для разделения музыки на дорожки отдельных инструментов на базе Python-библиотеки pymss

#comfyui #demix #unmix #audioseparation #music2stem

👍15

2.04K views16:19

1:53

AuK (Tencent Hunyuan)

Универсальная модель речи: генерация, редактирование, очистка и разделение

Все через указания естественным языком

- Клонирование голоса: текст + референс голоса
- Instruct TTS: голос по описанию без референса
- Редактирование содержимого: заменил/вставил/удалил слова, переписал слова в песне с сохранением мелодии
- Акустика: питч, скорость, громкость
- Паралингвистика: эмоция, тембр, убирает акцент, дыхание/смех/кашель, обычная речь - шепот
- Очистка и разделение: улучшение речи, разделение говорящих, извлечение вокала из микса, выделение цели по сказанному

- 1.5B, MIT
- AuK-Flash: 4 шага, в 4.5x быстрее

Русский не заявлен, но текстовый энкодер - мультиязыный Qwen2.5-Omni-3B, так что пробуйте

Гитхаб
HF
Демо
ComfyUI Спасибо @m_franz

#tts #voiceclonihng #voicedesign #alm #demix #audioseparation

👍10🔥3

1.76K viewsedited 08:12

0:58