monitor-model-drift

Detect and alert on data drift and concept drift in production ML models using statistical tests and automated monitoring.

Expected: Configuration file created with thresholds matching your model's tolerance.

On failure: Start with conservative thresholds (PSI > 0.2, KS p-value < 0.01) and tune based on false positive rate.

Implementa un monitoraggio completo della deriva del modello utilizzando Evidently AI, test statistici (PSI, KS) e metriche personalizzate per rilevare la deriva dei dati e la deriva dei concetti nei sistemi ML di produzione. Configura flussi di lavoro automatizzati per avvisi e reporting per individuare il degrado prima che influisca sulle metriche aziendali. Da utilizzare quando i modelli di produzione mostrano un degrado delle prestazioni inspiegabile, quando le nuove distribuzioni dei dati differiscono dai dati di addestramento, quando i cambiamenti stagionali influiscono sulle funzionalità di input o quando i requisiti normativi impongono il monitoraggio del modello. Fonte: pjt222/development-guides.