Нейронавт | Нейросети в творчестве

VAST: Video-Audio Separation through Text. Language-Guided Audio-Visual Source Separation via Trimodal Consistency

Изоляция источников звука на видео по текстовому запросу. Этакий vocalremover на стероидах. Указываем кого хотим слышать, кого не хотим - получаем изолированный звук от выбранного источника

Код

#audio2audio #video2video #video2audio #audioseparation #unmix

591 views12:15

1:33

AudioSep: Separate Anything You Describe

Конкурент VAST. Отделяет заданный звук из микса по тестовому запросу

Код
Демо
Колаб

#audio2audio #audioseparation #unmix

❤1

945 views09:55

0:14

Voice isolator

Изоляция голоса от Elevenlabs

#audio2audio #voice #unmix #audio2stem

🔥24

1.56K viewsedited 07:17

1:40

Media is too big

TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation

Легковесная китайская модель для разделения речи, музыки, эффектов

Хвастаются что бьют #SOTA модель TF-GridNet

Код

#audioseparation #demix #unmix

👍8❤1😁1🤔1

1.69K views08:10

MVSEP

Сервис для разделения музыки на стемы

Разделяет на вокал, бас, ударные, гитару, фортепиано и остальное - 6 стемов.
Недавно добавили в парк моделей BS-RoFormer, модели уже 2 года, но недавно была обновка. А вообще ее спонсировали Stability AI и HuggingFace, и на изоляции вокала там #SOTA (не знаю удержалил ли трон к настоящему времени)

Есть бесплатный тариф

#audioseparation #demix #unmix

👍8🔥3👎1

2.26K views07:11

1:09

0:09

SAM Audio

Изолятор источников звука на аудио (или видео со звуком) в реальном времени от Meta (запрещено в РФ)

Принимает три типа подсказок: текстовые, визуальные и временные. Например кликаем на видео на источник звука чтобы выделить его

Умеет изолировать как повседневные шумы так и музыкальные инструменты

Гитхаб
HF - доступ к моделям по запросу, могут не дать
Playground
Блогпост

Спасибо @EvgenyiPerm

#audioseparation #music2stem #demix #unmix #segmentation #denoise #audio2audio #multimodal

🔥10👍4🤯3👎1

1.84K views07:41

GitHub - t22m003/ComfyUI-sam-audio

ComfyUI SAM-Audio

Подъехали кастомноды изолятора звуков SAM-Audio

#audioseparation #comfyui #audio #demix #unmix

GitHub

Contribute to t22m003/ComfyUI-sam-audio development by creating an account on GitHub.

🔥11👍4❤1

2.3K views18:22

Comfy-MSS

Кастом пак для разделения музыки на дорожки отдельных инструментов на базе Python-библиотеки pymss

#comfyui #demix #unmix #audioseparation #music2stem

👍15

2.04K views16:19

0:26

0:10

MuScriptor

Модель для извлечения MIDI-партий из сведенного музыкалного трека

• разделяет трек на партии барабанов, баса, клавиш, вокала и др.
• учитывает заданный список инструментов для снижения ошибок

Попробовать
Гитхаб
HF
Демо
Галерея
Pinokio

#audio2midi #music2midi #midi #unmix

🔥18👎1

1.85K views17:21

Держите две версии кастом паков MuScriptor для перевода аудиотреков в midi

github.com/jtydhr88/ComfyUI-muscriptor
github.com/martyyz-ai/ComfyUI-MuScriptor

#audio2midi #music2midi #midi #unmix #comfyui

👍11

1.95K views14:18

0:58