SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

В Microsoft придумали метод, позволяющий говорящим языковым моделям (SLMs) думать и анализировать информацию одновременно с прослушиванием речи пользователя.

— SHANKS делит речь пользователя на небольшие фрагменты и обрабатывает их по мере поступления.

— Модель анализирует уже услышанное и формирует внутренние рассуждения.

— Может прерывать пользователя, если замечает ошибку, например, при решении математических задач.

— В диалоге с инструментами выполняет запросы к API ещё до окончания реплики пользователя.

— Повышает точность прерывания пользователя на 37,1 % по сравнению с базовыми методами.

— Выполняет 56,9 % инструментальных запросов до того, как пользователь закончит говорить.

Кода нет

#voicemode #SLM #research