💻 Nvidia выпустила бесплатную модель Nemotron 3 Diarization на 100 млн параметров

Nvidia открыла веса Nemotron 3 Diarization - модели, которая определяет, кто именно говорит в каждый момент разговора. Она различает до восьми спикеров и фиксирует моменты, когда несколько человек говорят одновременно. Работает как с записями, так и с живым аудио.

В бенчмарке VoiceArena Diarization Benchmark v1 модель лидирует с DER 14,72% - у ближайшего конкурента 19,3%. По сравнению с предшественницей Streaming Sortformer ошибка снижена в среднем на 41% на восьми тестовых сценариях при буфере 1,04 секунды. Буфер настраивается на четырёх уровнях - от 30,4 до 0,32 с: чем короче, тем ниже задержка и точность. Точность также падает при большом числе участников, сильном фоновом шуме и реверберации.

Главный практический сценарий - диаризация в связке с системой распознавания речи вроде Parakeet: на выходе получается транскрипт с метками спикеров, правда анонимными (speaker_2). Это закрывает расшифровку встреч, интервью и записей колл-центров с разделением по голосам без платных проприетарных сервисов, причём локально.

🎨 qvabo.studio/tg · картинки и видео

#Tech #Nvidia #Nemotron #AI #Diarisation #ASR