🍏 Apple: LLM пока ненадёжны для оценки качества машинного перевода

Исследователи Apple ML Research сравнили большие языковые модели с людьми-аннотаторами в задаче оценки качества машинного перевода (MT). Проверялись две популярные схемы разметки - Multidimensional Quality Metrics (MQM) и Error Span Annotation (ESA).

В тестах использовались длинноконтекстный набор из 70 языковых пар, а также открытые данные WMT23 и WMT25. Оценивалось согласие по итоговым баллам и по разметке ошибок в разных языках и доменах. Результат двойственный: в части задач согласие LLM с людьми превышает согласие между самими людьми-аннотаторами, но в целом показатели сильно колеблются в зависимости от схемы, языка и домена и остаются ненадёжными для большинства сценариев.

Авторы отдельно описывают слабые места обеих сторон. Люди чаще ошибаются на мелкогранулярной разметке MQM и на малоресурсных языках. Модели хуже справляются с мелкими ошибками, неверными языковыми вариантами и разметкой error span. Вывод: полностью заменять людей LLM пока нельзя, но перспективны гибридные пайплайны, где человек и модель дополняют друг друга.

🎨 qvabo.studio/tg · картинки и видео

#Tech #Apple #LLM #MachineTranslation #NLP #AI #Research