⚙️ Корпоративная observability-платформа для Amazon Quick: мониторинг AI-ассистентов в масштабе предприятия

AWS представила готовое решение для централизованного наблюдения за корпоративной AI-платформой Amazon Quick. Когда на платформе работают сотни и тысячи пользователей, бизнесу нужна прозрачность: кто использует AI, довольны ли пользователи ответами, какие функции наиболее востребованы. Без единой системы observability эти данные разбросаны по разным сервисам AWS и сложны для анализа.

Решение собирает логи взаимодействия из Amazon CloudWatch vended logs (чат-конversации, обратная связь, использование агентов и индексного хранилища) и события AWS CloudTrail в защищённое data lake на Amazon S3. Данные доступны через Amazon Athena для SQL-запросов, дашборды Quick Sight и кастомного чат-агента Quick для вопросов на естественном языке.

Архитектура включает CloudWatch subscription filters → Amazon Data Firehose с Lambda-трансформацией → S3 data lake. CloudTrail-события маршрутизируются через EventBridge. AWS Glue Data Catalog управляет метаданными, AWS Lake Formation — правами доступа на уровне таблиц и колонок. Все данные шифруются customer managed KMS-ключом с автоматической ротацией.

Для развёртывания потребуются AWS аккаунт с подпиской Amazon Quick, Python 3.9+, Node.js 20+, AWS CDK и AWS CLI V2. Решение покрывает четыре ключевые метрики enterprise-уровня: adoption (внедрение), satisfaction (удовлетворённость), cost (стоимость) и governance (управление).

#AI #AWS #AmazonQuick #Observability #EnterpriseAI #MLOps

🔍 Strands Evals SDK: автоматическое обнаружение сбоев AI-агентов и анализ первопричин

AWS представила обновление Strands Evals SDK — инструментарий для автоматического выявления отказов AI-агентов и анализа их причин. Традиционные метрики (например, «агент выполнил 60% целей») не показывают, почему произошёл сбой. Detectors в Strands Evals анализируют трассы выполнения, классифицируют ошибки по девяти категориям (галлюцинации, неверные действия, ошибки оркестрации и др.) и строят причинно-следственные цепочки.

Система работает в два этапа: сначала сканирует каждый span сессии и возвращает категорию сбоя, уровень уверенности и доказательства из трассы. Затем проводит анализ первопричин: отделяет корневые причины от вторичных симптомов, определяет влияние и выдаёт рекомендации по исправлению — в системном промпте или описании инструментов. Для больших сессий используется чанковая обработка с перекрывающимися окнами.

Практическая ценность: вместо часов ручного дайвинга в логи — автоматический диагноз за минуты. Интеграция с Amazon Bedrock и CloudWatch позволяет встроить детекторы в пайплайн CI/CD. Для разработчиков, работающих с агентами в продакшене, это ускоряет цикл «обнаружил проблему — выпустил фикс».

#SAFETY #AIagents #StrandsEvals #MLOps #Development

🥂 A/B-тестирование моделей в проде — теперь на уровне эндпоинта Together AI

Together AI добавила на платформу нативные A/B-эксперименты для LLM-эндпоинтов. Живой трафик можно разделять между контрольной моделью и до 20 вариантами с заданным процентным соотношением. Это позволяет проверять качество кандидата на реальных пользователях, а не на бенчмарках: retention, thumbs-up, выполнение задач и другие продуктовые метрики.

В отличие от shadow-трафика, где ответы кандидата никому не показываются, здесь часть запросов реально обслуживается новой моделью. При этом клиентский код не меняется: тот же эндпоинт, API и ключи. Эксперимент вложен в долю контрольной модели: роутер сначала разрешает базовый сплит, а затем перераспределяет запросы внутри эксперимента. Важное требование — варианты должны иметь нулевой вес в основном traffic split, иначе замеры будут некорректными. Проценты в A/B — это фиксированные доли трафика, независимые от числа реплик и автоскейлинга.

Рампинг делается заменой всего списка участников одним вызовом API: например, 95/5 → 80/20 → 50/50. Обновления защищены etag — параллельное изменение коллеги не перезапишется молча. Победителя можно продвинуть через blue-green rollout, а удаление эксперимента мгновенно возвращает 100% трафика контрольной модели без правок на стороне клиента.

#AI #LLM #ABtesting #TogetherAI #MLOps

🔄 Together AI запустила canary-роллауты для обновления моделей без простоя

Together AI добавила в платформу dedicated inference механизм роллаутов: живой трафик переносится с текущей модели на новый чекпоинт поэтапно, с health-проверками и автоматическим откатом.

Доступны три стратегии. Canary - шаги по долям трафика (по умолчанию 5% → 25% → 50% → 100%), blue-green - один переход 0% → 100%, rolling - последовательная замена реплик с сохранением ёмкости. Внутри каждого шага canary сначала масштабируется target, затем срабатывает health-гейт, идёт ожидание сходимости маршрутизации, дренаж source и только потом проверка метрик. Если гейт не проходит, роллаут переходит в SYSTEM_PAUSED и ждёт решения человека - отмена всегда за оператором.

В демо Qwen2.5-7B → Qwen3.5-9B гейт поймал рост p95-латентности на 137% уже при 10% трафика: роллаут отменили и запустили в обратную сторону - при живых запросах ни один не упал. Управление доступно через CLI (tg в пакете together 2.34.0+), REST API и Python SDK.

#AI #Models #TogetherAI #MLOps #Inference #Deploy #LLM

☁️ AWS представила девятиэтапный фреймворк оценки AI-агентов на базе Amazon Bedrock AgentCore

Команда AWS SMGS Operations рассказала, как построила непрерывный контроль качества для мультиагентной системы, обслуживающей отдел продаж AWS по всему миру. Отдельные субагенты отвечают за выручку по территориям, 360-градусный профиль клиента и text-to-SQL запросы к аналитическим данным.

Проблема в том, что агенты ломаются тихо: latency и error rate остаются в норме, а ответы незаметно становятся неверными. До запуска Customer Insights Agent выдал трёхмесячную выручку клиента в $410,08 как «$410 Million», сослался на несуществующий в данных ARR и подал собственные расчёты как факты из источника. Мониторинг при этом оставался зелёным.

Фреймворк охватывает девять стадий жизненного цикла - от первого коммита до продакшена: определение эталона, сравнение версий, CI-регрессии, CD-гейт, канареечный скоринг, adversarial-тесты, детекцию дрейфа, пульс-мониторинг и автоматическую петлю обратной связи. Оценка ведётся на трёх уровнях: инструменты, отдельные агенты и оркестрация между ними. По словам AWS, рассогласование версий данных, промптов и кода в одном тесте уронило pass rate с 78% до 38%.

Стек: AgentCore Evaluations, Amazon Bedrock Guardrails, CloudWatch, S3, Redshift, AWS Lambda и Amazon Quick.

🎨 qvabo.studio/tg · картинки и видео

#Tech #AWS #AI #Agents #AmazonBedrock #MLOps #Development