📣 Voice Agents и билингвальные пользователи: бенчмарк ASR для code-switching

Исследователи ServiceNow AI представили новый бенчмарк для оценки систем автоматического распознавания речи (ASR) на code-switched речи — когда говорящий переключается между языками в пределах одного предложения. Это особенно актуально для контакт-центров и IT-поддержки, где билингвальные пользователи — норма, а ошибки транскрипции ведут к сбоям в обработке запросов.

Бенчмарк охватывает четыре языковые пары: испанский-английский, французский-английский, канадский французский-английский и немецкий-английский. Данные включают сценарии HR и ITSM (запросы о зарплате, сброс пароля, VPN-доступ). Для оценки используются три метрики: WER (точность транскрипции), SWER (семантическая точность) и AER (сохранение смысла для downstream-задач). Датасет и код тестового фреймворка AU-Harness опубликованы на Hugging Face и GitHub.

Топ-модели по всем метрикам: ElevenLabs Scribe V2, Gemini 3 Flash и Assembly AI Universal 3-Pro. Ключевой вывод: стоимость code-switching (дополнительная ошибка по сравнению с монолингвальной речью) сильно зависит от языковой пары и модели. Например, для пары французский-английский разрыв меньше, чем для немецкий-английский. Это важно учитывать при выборе ASR для мультиязычных голосовых агентов.

#AI #ASR #codeSwitching #VoiceAgents #NLP #ServiceNow

📝 FFASR Leaderboard: новый бенчмарк для ASR в реальных акустических условиях

Hugging Face и Treble Technologies запустили FFASR Leaderboard — первый открытый бенчмарк для оценки систем распознавания речи (ASR) в условиях дальнего поля. Платформа симулирует 14 типов помещений с разной акустикой и уровнем шума, позволяя разработчикам увидеть, как модели ведут себя вне стерильных лабораторных условий.

Разрыв между показателями на стандартных тестах (вроде LibriSpeech) и реальным развёртыванием оказался значительным: при низком SNR (соотношении сигнал/шум) WER (словесная ошибка) в дальнем поле в несколько раз выше, чем при ближнем, даже на одном и том же аудиоматериале. Бенчмарк использует гибридное волновое моделирование, валидированное на реальных измерениях, и стандартизированное оборудование для всех сабмитов.

На дорожной карте — поддержка сценариев с несколькими говорящими, микрофонных решёток и эхоподавления. Разработчики могут отправлять свои модели через Hugging Face Space и отслеживать позиции на Pareto-фронте по соотношению точности и скорости (RTFx).

#AI #ASR #HuggingFace #FFASR #Benchmark #SpeechRecognition

⚙️ Apple представила компактную модель для исправления ошибок ASR

Исследователи Apple ML опубликовали работу, в которой предлагают альтернативу использованию больших языковых моделей (LLM) для коррекции ошибок автоматического распознавания речи (ASR). Вместо LLM, страдающих от задержек и галлюцинаций, они используют компактные seq2seq-модели, обученные на реальных и синтетических ошибках ASR.

Ключевое нововведение — метод correction-first decoding: модель коррекции генерирует гипотезы, которые затем переранжируются с использованием акустических скоринг-функций ASR. Для масштабирования обучения авторы создали синтетические корпуса через каскад TTS→ASR, показав, что критически важно соответствие разнообразия распределения ошибок реальным данным.

Результаты впечатляют: при в 15 раз меньшем количестве параметров, чем у LLM, модель достигает WER 1.5/3.3% на LibriSpeech test-clean/other, превосходя LLM. Она обобщается на разные архитектуры ASR (CTC, Seq2seq, Transducer) и домены, а также даёт точные исправления в режиме низкой ошибки, где LLM терпят неудачу.

#AI #Agents #ASR #AppleML #SpeechRecognition #LLM

📄 Как ASR-модели «подстраиваются» под бенчмарки: новое исследование

Hugging Face совместно с Hume AI представила тесты для измерения бенчмарк-оптимизации в системах распознавания речи. Проблема известна: публичные лидерборды показывают почти человеческий уровень ASR, но в реальных условиях модели работают хуже. Авторы проверили 11 открытых ASR-моделей и обнаружили, что некоторые из них воспроизводят ошибочные транскрипты из VoxPopuli и LibriSpeech — даже когда аудио противоречит эталону.

В одном примере из VoxPopuli в записи слышно «Thank you, Mr. President», но в референсной транскрипции «Thank you» отсутствует. Шесть из 11 моделей повторили ошибку бенчмарка, отдав предпочтение «ожидаемому» тексту. При этом на новых записях с теми же словами большинство моделей перестают следовать ошибочному паттерну. Это указывает на то, что модели реагируют на акустические признаки, выдающие принадлежность к конкретному набору данных, а не просто «запоминают» тексты.

Для борьбы с этим исследователи внедрили held-out наборы в Open-ASR Leaderboard, Far-field ASR Leaderboard и Real World VoiceEQ. Новые тесты позволяют количественно оценить, насколько модель запоминает бенчмарк вместо реального улучшения распознавания. Это важный шаг к более честной оценке голосовых ИИ-систем.

#AI #ASR #SpeechRecognition #HuggingFace #Benchmarks #ИИ

💻 Nvidia выпустила бесплатную модель Nemotron 3 Diarization на 100 млн параметров

Nvidia открыла веса Nemotron 3 Diarization - модели, которая определяет, кто именно говорит в каждый момент разговора. Она различает до восьми спикеров и фиксирует моменты, когда несколько человек говорят одновременно. Работает как с записями, так и с живым аудио.

В бенчмарке VoiceArena Diarization Benchmark v1 модель лидирует с DER 14,72% - у ближайшего конкурента 19,3%. По сравнению с предшественницей Streaming Sortformer ошибка снижена в среднем на 41% на восьми тестовых сценариях при буфере 1,04 секунды. Буфер настраивается на четырёх уровнях - от 30,4 до 0,32 с: чем короче, тем ниже задержка и точность. Точность также падает при большом числе участников, сильном фоновом шуме и реверберации.

Главный практический сценарий - диаризация в связке с системой распознавания речи вроде Parakeet: на выходе получается транскрипт с метками спикеров, правда анонимными (speaker_2). Это закрывает расшифровку встреч, интервью и записей колл-центров с разделением по голосам без платных проприетарных сервисов, причём локально.

🎨 qvabo.studio/tg · картинки и видео

#Tech #Nvidia #Nemotron #AI #Diarisation #ASR

💻 Microsoft представила новые модели транскрипции и синтеза речи для голосовых агентов

Microsoft AI выпустила MAI-Transcribe-2-Streaming - модель для потоковой транскрипции в реальном времени. По данным Artificial Analysis, она занимает первое место по точности. Модель распознаёт 60 языков и выдаёт первые частичные результаты чуть более чем за 100 мс - этого достаточно, чтобы голосовой агент отвечал, пока собеседник ещё не закончил фразу. До конца года час аудио стоит $0,54 по вводной цене.

Вместе с ней вышли две модели синтеза речи. MAI-Voice-2.1 озвучивает 23 языка одним и тем же голосом, сохраняя естественный акцент в каждом. Версия MAI-Voice-2.1-Flash достигает задержки 150 мс и стоит $15 за миллион символов вместо $22. Обе голосовые модели умеют клонировать голос по нескольким секундам эталонной записи, а встроенные механизмы защиты должны предотвращать злоупотребления.

Доступ открыт через Microsoft Foundry и MAI Playground, а также через OpenRouter. В одном из тестов около половины из 4000 участников приняли синтезированные голоса за настоящие - это иллюстрирует и качество, и риски технологии для разработчиков голосовых интерфейсов.

🎨 qvabo.studio/tg · картинки и видео

#AI #Agents #Microsoft #Speech #TTS #ASR