This media is not supported in your browser
VIEW IN TELEGRAM
Локальный Qwen 2.5 Omni распознает аккорды по звуку с микрофона
Сделано в Gabber - Real-time AI Engine
Реддит
#assistant #music2text #realtime
Сделано в Gabber - Real-time AI Engine
Реддит
#assistant #music2text #realtime
👍11
Music Flamingo: Scaling Music Understanding in Audio Language Models
Аудиоязыковая модель от NVIDIA для понимания музыки
Обрабатывает аудиозаписи длительностью до 15 минут с контекстным окном в 24 тысячи токенов
Возможности модели:
— делает детальные описания треков, включая жанр, темп, тональность, инструменты и настроение
— отвечает на вопросы о структуре, вокале, лирических темах и решениях в микшировании
— распознаёт инструменты и жанры
— транскрибирует тексты песен на разных языках. То есть это еще и транскрибатор
— анализирует музыку с учётом культурного контекста.
Гитхаб
Демо
HF
#captioning #asr #ALM #music2text #audio2text #assistant
Аудиоязыковая модель от NVIDIA для понимания музыки
Обрабатывает аудиозаписи длительностью до 15 минут с контекстным окном в 24 тысячи токенов
Возможности модели:
— делает детальные описания треков, включая жанр, темп, тональность, инструменты и настроение
— отвечает на вопросы о структуре, вокале, лирических темах и решениях в микшировании
— распознаёт инструменты и жанры
— транскрибирует тексты песен на разных языках. То есть это еще и транскрибатор
— анализирует музыку с учётом культурного контекста.
Гитхаб
Демо
HF
#captioning #asr #ALM #music2text #audio2text #assistant
👍11🔥6❤1
TinyMU
Компактная аудио-языковая модель для понимания музыки.
Понимает, отвечает на вопросы
- 82% от SOTA LALM
Гитхаб
HF ~2ГБ
Спасибо @tech_wizard
#music2text #alm
Компактная аудио-языковая модель для понимания музыки.
Понимает, отвечает на вопросы
- 82% от SOTA LALM
Гитхаб
HF ~2ГБ
Спасибо @tech_wizard
#music2text #alm
❤2👍1
MOSS-Audio
Открытая базовая модель для работы с аудио: речью, звуками, музыкой.
• распознаёт речь с привязкой ко времени
• анализирует эмоции и характеристики голоса
• разбирает фоновые звуки и контекст
• понимает музыку (стиль, динамику, инструменты) - кто там спрашивал про понимание музыки?
• отвечает на вопросы по аудио, делает резюме записей
• рассуждает в несколько шагов (chain‑of‑thought)
4–8B параметров (на базе Qwen3-4B/Qwen3-8B). Lо 70,80 на бенчмарках. Лучший CER в тестах ASR
Подойдёт для подкастов, транскрибации встреч, анализа аудиоконтента
Гитхаб
HF
Спасибо @EvgenyiPerm
#asr #alm #music2text #captioning #STT
Открытая базовая модель для работы с аудио: речью, звуками, музыкой.
• распознаёт речь с привязкой ко времени
• анализирует эмоции и характеристики голоса
• разбирает фоновые звуки и контекст
• понимает музыку (стиль, динамику, инструменты) - кто там спрашивал про понимание музыки?
• отвечает на вопросы по аудио, делает резюме записей
• рассуждает в несколько шагов (chain‑of‑thought)
4–8B параметров (на базе Qwen3-4B/Qwen3-8B). Lо 70,80 на бенчмарках. Лучший CER в тестах ASR
Подойдёт для подкастов, транскрибации встреч, анализа аудиоконтента
Гитхаб
HF
Спасибо @EvgenyiPerm
#asr #alm #music2text #captioning #STT
🔥8👍5❤1
music-hearing
Скилл для агентов, который даёт им возможность слушать музыку и давать отзыв как музыкальный критик
От подписчика @tigrohvost
#skill #music2text
Скилл для агентов, который даёт им возможность слушать музыку и давать отзыв как музыкальный критик
От подписчика @tigrohvost
#skill #music2text
GitHub
GitHub - tigrohvost/music-hearing: Hear a track from a URL or search phrase: acoustic profile + plain-language description, a music_v2…
Hear a track from a URL or search phrase: acoustic profile + plain-language description, a music_v2 block (rhythm/groove, harmony, timbre, 64-dim similarity embedding), and a critic block for genre...
😁9🔥7🤝2