👁 Мониторинг дискриминативных ML-моделей с Amazon SageMaker AI и MLflow

AWS представила архитектуру для мониторинга дискриминативных моделей машинного обучения (классификация и регрессия) на базе Amazon SageMaker AI и open-source библиотеки Evidently. Решение отслеживает дрейф данных и модели в production, интегрируется с MLflow и позволяет настроить алерты в Slack или автоматический перезапуск пайплайнов обучения.

Дрейф данных фиксируется при изменении статистических свойств входных данных (например, смена типа колонки или появление новых продуктов). Дрейф модели — когда точность предсказаний падает из-за изменения поведения пользователей или внешних факторов. Архитектура включает batch inference через SageMaker Batch Transform, processing job для расчёта метрик и EventBridge для запуска по расписанию.

Для разработчиков это кастомизируемая альтернатива встроенному мониторингу SageMaker: можно интегрировать результаты в любые дашборды, управлять затратами и поддерживать нестандартные сценарии. Решение особенно актуально для команд, которые хотят сохранить контроль над ML-пайплайнами без vendor lock-in.

#AI #AWS #SageMaker #MLflow #MLOps #Monitoring