📢 Голосовые агенты реального времени: Stream Vision Agents и Amazon Nova 2 Sonic

AWS и Stream представили интеграцию фреймворка Vision Agents с моделью Amazon Nova 2 Sonic через Amazon Bedrock. Решение позволяет создавать production-ready голосовых ассистентов с минимальным количеством кода, работающих в реальном времени.

Ключевые компоненты: Amazon Nova 2 Sonic — speech-to-speech модель с двунаправленным аудиопотоком, детекцией пауз и вызовом функций. Stream Vision Agents — open-source фреймворк для голосовых и видеоагентов с 25+ интеграциями и SDK под React, iOS, Android, Flutter. Stream Edge Network обеспечивает время подключения менее 500 мс и задержку аудио до 30 мс.

Архитектура разделяет транспортный уровень (Stream) и AI-логику (AWS-аккаунт клиента). Аудио передается через WebRTC/UDP до ближайшего SFU-сервера Stream, затем — в Vision Agent. Модель Nova Sonic обрабатывает речь целиком, без разделения на STT и TTS. Задержка end-to-end — менее 500 мс. Поддерживается автоматическое переподключение, многоголосье и функция barge-in.

#Tech #AI #AWS #AmazonNova #Stream