monitor-model-drift

Detect and alert on data drift and concept drift in production ML models using statistical tests and automated monitoring.

Expected: Configuration file created with thresholds matching your model's tolerance.

On failure: Start with conservative thresholds (PSI > 0.2, KS p-value < 0.01) and tune based on false positive rate.

Внедряйте комплексный мониторинг отклонения модели с помощью Evidently AI, статистических тестов (PSI, KS) и пользовательских метрик для обнаружения отклонения данных и отклонений концепций в производственных системах машинного обучения. Настройте автоматические рабочие процессы оповещений и отчетов, чтобы выявить ухудшение ситуации до того, как оно повлияет на бизнес-показатели. Используйте, когда производственные модели демонстрируют необъяснимое снижение производительности, когда распределение новых данных отличается от данных обучения, когда сезонные сдвиги влияют на входные функции или когда нормативные требования требуют мониторинга модели. Источник: pjt222/development-guides.