📝 FFASR Leaderboard: новый бенчмарк для ASR в реальных акустических условиях

Hugging Face и Treble Technologies запустили FFASR Leaderboard — первый открытый бенчмарк для оценки систем распознавания речи (ASR) в условиях дальнего поля. Платформа симулирует 14 типов помещений с разной акустикой и уровнем шума, позволяя разработчикам увидеть, как модели ведут себя вне стерильных лабораторных условий.

Разрыв между показателями на стандартных тестах (вроде LibriSpeech) и реальным развёртыванием оказался значительным: при низком SNR (соотношении сигнал/шум) WER (словесная ошибка) в дальнем поле в несколько раз выше, чем при ближнем, даже на одном и том же аудиоматериале. Бенчмарк использует гибридное волновое моделирование, валидированное на реальных измерениях, и стандартизированное оборудование для всех сабмитов.

На дорожной карте — поддержка сценариев с несколькими говорящими, микрофонных решёток и эхоподавления. Разработчики могут отправлять свои модели через Hugging Face Space и отслеживать позиции на Pareto-фронте по соотношению точности и скорости (RTFx).

#AI #ASR #HuggingFace #FFASR #Benchmark #SpeechRecognition