⚙️ Deepgram расширяет observability для Amazon SageMaker AI с помощью Enhanced Metrics

Deepgram представила два новшества для своих speech-моделей на SageMaker AI — Deepgram Enhanced Metrics и поддержку Prometheus/OpenTelemetry. Решение закрывает давний пробел self-hosted распознавания речи: стандартные метрики показывали только доступность эндпоинта и число запросов, но не давали информации о биллинге, использовании функций и загрузке GPU.

Deepgram Enhanced Metrics публикует данные о потреблении и списаниях прямо в Amazon CloudWatch через Embedded Metric Format. Контейнер пишет метрики в stdout, а CloudWatch Logs автоматически превращает их в классические метрики. Для этого не нужны агенты, sidecar-контейнеры и дополнительные IAM-разрешения. Ключевая метрика — ConsumedUnits: это те же значения, которые используются для метеринга AWS Marketplace, поэтому билл можно сверять вплоть до модели и транспорта. Второй компонент — Prometheus-метрики движка и per-GPU метрики, которые собираются через SageMaker AI detailed observability и доступны через PromQL в CloudWatch, Grafana и других совместимых инструментах.

Важно, что всё работает в условиях network isolation для AWS Marketplace model packages: контейнеру не нужно открывать исходящие соединения, а данные остаются внутри аккаунта клиента. Это позволяет совмещать требования к residency и compliance с прозрачным мониторингом инференса.

#AI #Deepgram #SageMaker #AWS #Observability