🧏‍♂️ Apple представила DiscoSign — перевод текста на жестовый язык с учётом дискурса

Команда Apple ML Research опубликовала работу DiscoSign — подход к переводу текста в глоссы жестового языка, который учитывает не отдельные предложения, а структуру всего высказывания.

Классические системы обработки жестовых языков работают на уровне предложения и игнорируют дискурсивные явления, критичные для понимания. DiscoSign построен как модульный фреймворк на базе большой языковой модели и закрывает три ключевых аспекта: пространственную кореференцию (сущности сохраняют единое место в жестовом пространстве на протяжении всего дискурса), Question-Answer Clauses — псевдоклефт-конструкции, характерные для жестовых языков, и связанные с ними дискурсивные механизмы.

Метод опирается на лингвистические исследования, а не только на статистику параллельных корпусов. Практический смысл — более связный и естественный автоматический перевод для глухих пользователей: система сохраняет пространственную логику повествования вместо механической склейки независимых предложений. Направление относится к accessibility-ML в Apple.

#Tech #Apple #SignLanguage #NLP #Gestures #AI #Research