📣 Voice Agents и билингвальные пользователи: бенчмарк ASR для code-switching

Исследователи ServiceNow AI представили новый бенчмарк для оценки систем автоматического распознавания речи (ASR) на code-switched речи — когда говорящий переключается между языками в пределах одного предложения. Это особенно актуально для контакт-центров и IT-поддержки, где билингвальные пользователи — норма, а ошибки транскрипции ведут к сбоям в обработке запросов.

Бенчмарк охватывает четыре языковые пары: испанский-английский, французский-английский, канадский французский-английский и немецкий-английский. Данные включают сценарии HR и ITSM (запросы о зарплате, сброс пароля, VPN-доступ). Для оценки используются три метрики: WER (точность транскрипции), SWER (семантическая точность) и AER (сохранение смысла для downstream-задач). Датасет и код тестового фреймворка AU-Harness опубликованы на Hugging Face и GitHub.

Топ-модели по всем метрикам: ElevenLabs Scribe V2, Gemini 3 Flash и Assembly AI Universal 3-Pro. Ключевой вывод: стоимость code-switching (дополнительная ошибка по сравнению с монолингвальной речью) сильно зависит от языковой пары и модели. Например, для пары французский-английский разрыв меньше, чем для немецкий-английский. Это важно учитывать при выборе ASR для мультиязычных голосовых агентов.

#AI #ASR #codeSwitching #VoiceAgents #NLP #ServiceNow