drift-detection

SKILL.md

Monitor LLM quality degradation and input/output distribution shifts in production.

| Statistical method | PSI for production (stable), KS for small samples | | Threshold strategy | Dynamic (95th percentile of historical) over static | | Baseline window | 7-30 days rolling window | | Alert priority | Performance metrics > distribution metrics | | Tool stack | Langfuse (traces) + Evidently/Phoenix (drift analysis) |

| < 0.1 | No significant drift | Monitor | | 0.1 - 0.25 | Moderate drift | Investigate | | >= 0.25 | Significant drift | Alert + Action |

Détection statistique et qualité des dérives pour les applications LLM. À utiliser lors de la surveillance de la dégradation de la qualité du modèle, des changements de distribution des entrées ou des changements de modèle de sortie au fil du temps. Source : yonatangross/orchestkit.

Voir l'original