💾 Salesforce AI Research выпустила VoiceAgentRAG: двух-агентный маршрутизатор памяти, который сокращает задержку извлечения Voice RAG в 316 раз
В мире голосового AI разница между полезным помощником и неловким взаимодействием измеряется в миллисекундах. В то время как текстовые системы Retrieval-Augmented Generation (RAG) могут позволить себе несколько секунд «времени на размышление», голосовые агенты должны отвечать в пределах 200 мс, чтобы поддерживать естественный разговорный поток.
Стандартные производственные запросы к векторной базе данных обычно добавляют 50-300 мс сетевой задержки, фактически потребляя весь бюджет до того, как LLM даже начнет генерировать ответ.
Команда Salesforce AI Research выпустила VoiceAgentRAG, архитектуру с открытым исходным кодом с двумя агентами, разработанную для решения этой проблемы. VoiceAgentRAG использует два агента: один для быстрого извлечения информации из векторной базы данных, а другой для генерации ответа.
#VoiceAgent #Salesforce #RAG
В мире голосового AI разница между полезным помощником и неловким взаимодействием измеряется в миллисекундах. В то время как текстовые системы Retrieval-Augmented Generation (RAG) могут позволить себе несколько секунд «времени на размышление», голосовые агенты должны отвечать в пределах 200 мс, чтобы поддерживать естественный разговорный поток.
Стандартные производственные запросы к векторной базе данных обычно добавляют 50-300 мс сетевой задержки, фактически потребляя весь бюджет до того, как LLM даже начнет генерировать ответ.
Команда Salesforce AI Research выпустила VoiceAgentRAG, архитектуру с открытым исходным кодом с двумя агентами, разработанную для решения этой проблемы. VoiceAgentRAG использует два агента: один для быстрого извлечения информации из векторной базы данных, а другой для генерации ответа.
#VoiceAgent #Salesforce #RAG
💯1