🔍 Strands Evals SDK: автоматическое обнаружение сбоев AI-агентов и анализ первопричин

AWS представила обновление Strands Evals SDK — инструментарий для автоматического выявления отказов AI-агентов и анализа их причин. Традиционные метрики (например, «агент выполнил 60% целей») не показывают, почему произошёл сбой. Detectors в Strands Evals анализируют трассы выполнения, классифицируют ошибки по девяти категориям (галлюцинации, неверные действия, ошибки оркестрации и др.) и строят причинно-следственные цепочки.

Система работает в два этапа: сначала сканирует каждый span сессии и возвращает категорию сбоя, уровень уверенности и доказательства из трассы. Затем проводит анализ первопричин: отделяет корневые причины от вторичных симптомов, определяет влияние и выдаёт рекомендации по исправлению — в системном промпте или описании инструментов. Для больших сессий используется чанковая обработка с перекрывающимися окнами.

Практическая ценность: вместо часов ручного дайвинга в логи — автоматический диагноз за минуты. Интеграция с Amazon Bedrock и CloudWatch позволяет встроить детекторы в пайплайн CI/CD. Для разработчиков, работающих с агентами в продакшене, это ускоряет цикл «обнаружил проблему — выпустил фикс».

#SAFETY #AIagents #StrandsEvals #MLOps #Development

☑️ AWS добавила оценку навыков агентов в Strands Evals и Bedrock AgentCore

Amazon Web Services расширила Strands Evals SDK и сервис Amazon Bedrock AgentCore Evaluations новыми инструментами для проверки skill-оснащённых агентов. Скиллы - модульные наборы инструкций (обычно в файле SKILL.md), которые учат агента доменным задачам: проверке комплаенса, обработке документов, соглашениям по pull-request. Они переносимы между совместимыми харнессами и подгружаются в рантайме, а не хранятся в системном промпте.

Проблема в том, что классические метрики качества ответа не ловят два сбоя: агент выбрал неподходящий скилл или выбрал верный, но пропустил часть инструкций. Ответ при этом выглядит правдоподобно. Новые оценщики: Skill Selection Accuracy - бинарная проверка, подходит ли вызванный скилл задаче; Skill Instruction Following - пятиуровневая шкала (от Fully Followed до Not Followed) с указанием пропущенных шагов; SkillInvoked - детерминированная проверка загрузки скилла в Strands Evals без вызова модели.

Оценка идёт по записанной траектории или по OpenTelemetry-трейсам, извлечение скиллов распознаёт сигналы Claude Code, Claude Agent SDK, OpenAI Agents SDK, Codex, Gemini CLI, Google ADK и OpenHands. Работает через AgentCore CLI (@aws/agentcore), нужны Python 3.10+, доступ к Bedrock и Transaction Search в CloudWatch.

#AI #AWS #Bedrock #Agents #StrandsEvals #Development #Evaluation