Music Flamingo think-2601-hf

Только вчера ктото спрашивал в чате про модель для понимания музыки
NVIDIA обновила Music Flamingo

#SOTA на 10+ бенчмарках

Шарит за теорию музыки, гармонию, структуру, культурный контекст и поэтику

Разумеется, может давать подробные описания

Может работать с запросами в формате «аудио + текст»

Поддерживает многоходовые диалоги, то есть можно задавать вопросы по ходу анализа трека

Обрабатывает аудио порциями по 30 секунд, но в целом может взять до 20 минут музыки

Базовая модель — Audio Flamingo 3

Гитхаб
HF
Демо

#musix2text #captioning #cot #assistant #alm