✂️ AWS представила AEM — метрику оценки агентов в многоходовых диалогах

AWS ML Blog описала Agent Evaluation Metric (AEM) — разложимую на компоненты метрику, которая оценивает качество ИИ-агента по каждому ходу диалога, а не только по финальному результату.

Проблема в каскадных ошибках: в пятиходовом сценарии агент во втором ходу выбирает верное действие, но передаёт «profit» вместо «revenue» — и эта одна ошибка тихо распространяется на все последующие ходы. Оценка на уровне задачи видит лишь провал в конце и не показывает, какой именно ход стал корневой причиной. AEM решает это, считая корректность для каждого хода отдельно и отделяя источник сбоя от его последствий.

В первой реализации AEM измеряет корректность через два подкомпонента: truthfulness (совпадают ли значения в вызовах инструментов и в ответах на естественном языке с ожидаемыми) и completeness (все ли обязательные параметры и элементы присутствуют). Схема «разложить — оценить — собрать» расширяется на новые измерения без перестройки механизма: безопасность, удержание инструкций, глубину рассуждений. Это отличает AEM от существующих holistic-метрик вроде goal completion и LLM-as-judge.

#AI #Agents #AWS #LLM #Score