📣 Voice Agents и билингвальные пользователи: бенчмарк ASR для code-switching

Исследователи ServiceNow AI представили новый бенчмарк для оценки систем автоматического распознавания речи (ASR) на code-switched речи — когда говорящий переключается между языками в пределах одного предложения. Это особенно актуально для контакт-центров и IT-поддержки, где билингвальные пользователи — норма, а ошибки транскрипции ведут к сбоям в обработке запросов.

Бенчмарк охватывает четыре языковые пары: испанский-английский, французский-английский, канадский французский-английский и немецкий-английский. Данные включают сценарии HR и ITSM (запросы о зарплате, сброс пароля, VPN-доступ). Для оценки используются три метрики: WER (точность транскрипции), SWER (семантическая точность) и AER (сохранение смысла для downstream-задач). Датасет и код тестового фреймворка AU-Harness опубликованы на Hugging Face и GitHub.

Топ-модели по всем метрикам: ElevenLabs Scribe V2, Gemini 3 Flash и Assembly AI Universal 3-Pro. Ключевой вывод: стоимость code-switching (дополнительная ошибка по сравнению с монолингвальной речью) сильно зависит от языковой пары и модели. Например, для пары французский-английский разрыв меньше, чем для немецкий-английский. Это важно учитывать при выборе ASR для мультиязычных голосовых агентов.

#AI #ASR #codeSwitching #VoiceAgents #NLP #ServiceNow

2️⃣ Двуязычный NER для грузовой логистики на Amazon Bedrock

IBS Software представила решение для двуязычного распознавания именованных сущностей (NER) в грузовой логистике, построенное на базе Amazon Bedrock. Система использует токен-дистилляцию для обработки данных на двух языках одновременно, что критически важно для международных перевозок.

Технический подход включает дистилляцию знаний из большой языковой модели в компактную NER-модель, что позволяет снизить задержки и затраты на инференс. Архитектура развёртывания использует серверные вычисления AWS для масштабирования. Ключевой вызов — корректная обработка билингвальных контекстов, где названия грузов, портов и документов могут смешивать языки.

Практическая значимость: решение позволяет автоматизировать извлечение данных из накладных, таможенных деклараций и трекинговых записей без ручного перевода. Подходит для логистических компаний, работающих с русско- и англоязычными документами.

#AI #LLM #NER #AmazonBedrock #Logistics #NLP #AWS

🧏‍♂️ Apple представила DiscoSign — перевод текста на жестовый язык с учётом дискурса

Команда Apple ML Research опубликовала работу DiscoSign — подход к переводу текста в глоссы жестового языка, который учитывает не отдельные предложения, а структуру всего высказывания.

Классические системы обработки жестовых языков работают на уровне предложения и игнорируют дискурсивные явления, критичные для понимания. DiscoSign построен как модульный фреймворк на базе большой языковой модели и закрывает три ключевых аспекта: пространственную кореференцию (сущности сохраняют единое место в жестовом пространстве на протяжении всего дискурса), Question-Answer Clauses — псевдоклефт-конструкции, характерные для жестовых языков, и связанные с ними дискурсивные механизмы.

Метод опирается на лингвистические исследования, а не только на статистику параллельных корпусов. Практический смысл — более связный и естественный автоматический перевод для глухих пользователей: система сохраняет пространственную логику повествования вместо механической склейки независимых предложений. Направление относится к accessibility-ML в Apple.

#Tech #Apple #SignLanguage #NLP #Gestures #AI #Research

🍏 Apple: LLM пока ненадёжны для оценки качества машинного перевода

Исследователи Apple ML Research сравнили большие языковые модели с людьми-аннотаторами в задаче оценки качества машинного перевода (MT). Проверялись две популярные схемы разметки - Multidimensional Quality Metrics (MQM) и Error Span Annotation (ESA).

В тестах использовались длинноконтекстный набор из 70 языковых пар, а также открытые данные WMT23 и WMT25. Оценивалось согласие по итоговым баллам и по разметке ошибок в разных языках и доменах. Результат двойственный: в части задач согласие LLM с людьми превышает согласие между самими людьми-аннотаторами, но в целом показатели сильно колеблются в зависимости от схемы, языка и домена и остаются ненадёжными для большинства сценариев.

Авторы отдельно описывают слабые места обеих сторон. Люди чаще ошибаются на мелкогранулярной разметке MQM и на малоресурсных языках. Модели хуже справляются с мелкими ошибками, неверными языковыми вариантами и разметкой error span. Вывод: полностью заменять людей LLM пока нельзя, но перспективны гибридные пайплайны, где человек и модель дополняют друг друга.

🎨 qvabo.studio/tg · картинки и видео

#Tech #Apple #LLM #MachineTranslation #NLP #AI #Research