📢 Голосовые агенты реального времени: Stream Vision Agents и Amazon Nova 2 Sonic

AWS и Stream представили интеграцию фреймворка Vision Agents с моделью Amazon Nova 2 Sonic через Amazon Bedrock. Решение позволяет создавать production-ready голосовых ассистентов с минимальным количеством кода, работающих в реальном времени.

Ключевые компоненты: Amazon Nova 2 Sonic — speech-to-speech модель с двунаправленным аудиопотоком, детекцией пауз и вызовом функций. Stream Vision Agents — open-source фреймворк для голосовых и видеоагентов с 25+ интеграциями и SDK под React, iOS, Android, Flutter. Stream Edge Network обеспечивает время подключения менее 500 мс и задержку аудио до 30 мс.

Архитектура разделяет транспортный уровень (Stream) и AI-логику (AWS-аккаунт клиента). Аудио передается через WebRTC/UDP до ближайшего SFU-сервера Stream, затем — в Vision Agent. Модель Nova Sonic обрабатывает речь целиком, без разделения на STT и TTS. Задержка end-to-end — менее 500 мс. Поддерживается автоматическое переподключение, многоголосье и функция barge-in.

#Tech #AI #AWS #AmazonNova #Stream

⚙️ Loka создала голосового агента с низкой задержкой на Amazon Nova 2 Sonic

Компания Loka представила решение для голосовых ассистентов на базе Amazon Nova 2 Sonic, которое устраняет главную проблему традиционных систем — задержки в 3–5 секунд и неестественный диалог. Вместо классического пайплайна (STT → LLM → TTS) используется native speech-to-speech модель, обрабатывающая аудиопоток целиком. Это позволяет сохранять тон, эмоции и контекст, а также поддерживать естественные перебивания (barge-in).

По данным тестов на бенчмарке Big Bench Audio, Nova 2 Sonic показал 87.0 баллов по речевому мышлению, обойдя Gemini 2.5 Flash Native Audio (71.0) и GPT Realtime (83.0). Время до первого аудио — 1.39 секунды, что сопоставимо с человеческим диалогом. Стоимость — около $0.27 за час входного аудио, что значительно ниже аналогов. В реальном сценарии автосалона агент успешно обрабатывает сложные запросы с отрицаниями и временными ограничениями.

Для оценки качества Loka построила автоматический пайплайн с LLM-судьёй по пяти критериям: релевантность ответа, понимание намерений, полнота, естественность и корректность. Решение уже показало снижение операционных затрат и повышение удовлетворённости клиентов в тестовых развёртываниях.

#Tech #AmazonNova #AI #AWS #Agents #BigBenchAudio

⚙️ Тонкая настройка Amazon Nova для точного извлечения данных из писем

AWS представила руководство по кастомизации моделей Amazon Nova с помощью Amazon SageMaker AI для извлечения структурированных данных из email-сообщений. Метод позволяет обучить модель распознавать специфические паттерны, различать похожие поля и обрабатывать информацию эффективнее — точность извлечения достигает 94,77% при снижении затрат на 50%.

Решение решает типичные проблемы парсинга писем: неоднозначность полей (например, «дата заказа» vs «дата доставки»), нестандартные форматы и шумовые данные. SageMaker AI автоматизирует пайплайн разметки, обучения и валидации, а Nova обеспечивает нативную поддержку Amazon Bedrock для быстрого развёртывания.

Практическое применение: автоматизация обработки заказов, извлечение контактных данных из входящих писем, парсинг финансовых отчётов и инвойсов. Разработчики могут интегрировать решение через API Amazon Bedrock, используя готовые ноутбуки из репозитория AWS.

#AI #AWS #AmazonNova #MachineLearning #SageMaker

👤 Amazon Nova научилась автоматически скрывать персональные данные на изображениях

AWS представила конвейер для ре-дакции PII (персонально идентифицируемой информации) на изображениях с помощью мультимодальной модели Amazon Nova. Решение сочетает визуальное понимание Nova, сегментационную модель SAM 3 от Meta и OCR-сервис Amazon Textract. Это позволяет находить и скрывать не только текст (имена, адреса, номера документов), но и визуальные PII — лица, отпечатки пальцев, отражения в зеркалах и частичные изображения на краях кадра.

Конвейер работает так: Nova анализирует изображение, определяет типы PII и маршрутизирует задачу. Для текстовых данных подключается Amazon Textract, который извлекает координаты строк. Для визуальных элементов Nova передаёт промпты в SAM 3, которая создаёт точные маски объектов. Затем AWS Lambda закрашивает обнаруженные области. В качестве координатора используется Amazon Nova 2 Lite — быстрая и экономичная модель, доступная в Amazon Bedrock.

Решение особенно актуально для компаний, работающих с GDPR и PCI DSS. Оно справляется со сложными кейсами: номерные знаки под любым углом, документы на столе на широкоугольном фото или лица, отражённые в полировке автомобиля. Это заменяет примитивные маскировщики, которые не понимают контекст.

#Tech #AWS #AmazonNova #PII #ComputerVision #AI #ML