AWS представила руководство по кастомизации моделей Amazon Nova с помощью Amazon SageMaker AI для извлечения структурированных данных из email-сообщений. Метод позволяет обучить модель распознавать специфические паттерны, различать похожие поля и обрабатывать информацию эффективнее — точность извлечения достигает 94,77% при снижении затрат на 50%.
Решение решает типичные проблемы парсинга писем: неоднозначность полей (например, «дата заказа» vs «дата доставки»), нестандартные форматы и шумовые данные. SageMaker AI автоматизирует пайплайн разметки, обучения и валидации, а Nova обеспечивает нативную поддержку Amazon Bedrock для быстрого развёртывания.
Практическое применение: автоматизация обработки заказов, извлечение контактных данных из входящих писем, парсинг финансовых отчётов и инвойсов. Разработчики могут интегрировать решение через API Amazon Bedrock, используя готовые ноутбуки из репозитория AWS.
#AI #AWS #AmazonNova #MachineLearning #SageMaker
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
👁 Мониторинг дискриминативных ML-моделей с Amazon SageMaker AI и MLflow
AWS представила архитектуру для мониторинга дискриминативных моделей машинного обучения (классификация и регрессия) на базе Amazon SageMaker AI и open-source библиотеки Evidently. Решение отслеживает дрейф данных и модели в production, интегрируется с MLflow и позволяет настроить алерты в Slack или автоматический перезапуск пайплайнов обучения.
Дрейф данных фиксируется при изменении статистических свойств входных данных (например, смена типа колонки или появление новых продуктов). Дрейф модели — когда точность предсказаний падает из-за изменения поведения пользователей или внешних факторов. Архитектура включает batch inference через SageMaker Batch Transform, processing job для расчёта метрик и EventBridge для запуска по расписанию.
Для разработчиков это кастомизируемая альтернатива встроенному мониторингу SageMaker: можно интегрировать результаты в любые дашборды, управлять затратами и поддерживать нестандартные сценарии. Решение особенно актуально для команд, которые хотят сохранить контроль над ML-пайплайнами без vendor lock-in.
#AI #AWS #SageMaker #MLflow #MLOps #Monitoring
AWS представила архитектуру для мониторинга дискриминативных моделей машинного обучения (классификация и регрессия) на базе Amazon SageMaker AI и open-source библиотеки Evidently. Решение отслеживает дрейф данных и модели в production, интегрируется с MLflow и позволяет настроить алерты в Slack или автоматический перезапуск пайплайнов обучения.
Дрейф данных фиксируется при изменении статистических свойств входных данных (например, смена типа колонки или появление новых продуктов). Дрейф модели — когда точность предсказаний падает из-за изменения поведения пользователей или внешних факторов. Архитектура включает batch inference через SageMaker Batch Transform, processing job для расчёта метрик и EventBridge для запуска по расписанию.
Для разработчиков это кастомизируемая альтернатива встроенному мониторингу SageMaker: можно интегрировать результаты в любые дашборды, управлять затратами и поддерживать нестандартные сценарии. Решение особенно актуально для команд, которые хотят сохранить контроль над ML-пайплайнами без vendor lock-in.
#AI #AWS #SageMaker #MLflow #MLOps #Monitoring
👍1
Deepgram представила два новшества для своих speech-моделей на SageMaker AI — Deepgram Enhanced Metrics и поддержку Prometheus/OpenTelemetry. Решение закрывает давний пробел self-hosted распознавания речи: стандартные метрики показывали только доступность эндпоинта и число запросов, но не давали информации о биллинге, использовании функций и загрузке GPU.
Deepgram Enhanced Metrics публикует данные о потреблении и списаниях прямо в Amazon CloudWatch через Embedded Metric Format. Контейнер пишет метрики в stdout, а CloudWatch Logs автоматически превращает их в классические метрики. Для этого не нужны агенты, sidecar-контейнеры и дополнительные IAM-разрешения. Ключевая метрика — ConsumedUnits: это те же значения, которые используются для метеринга AWS Marketplace, поэтому билл можно сверять вплоть до модели и транспорта. Второй компонент — Prometheus-метрики движка и per-GPU метрики, которые собираются через SageMaker AI detailed observability и доступны через PromQL в CloudWatch, Grafana и других совместимых инструментах.
Важно, что всё работает в условиях network isolation для AWS Marketplace model packages: контейнеру не нужно открывать исходящие соединения, а данные остаются внутри аккаунта клиента. Это позволяет совмещать требования к residency и compliance с прозрачным мониторингом инференса.
#AI #Deepgram #SageMaker #AWS #Observability
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👨💻1