run-ab-test-models

Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.

Define test parameters, success criteria, and statistical requirements.

Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.

Entwerfen und führen Sie A/B-Tests für ML-Modelle in der Produktion durch, indem Sie Traffic-Splitting, statistische Signifikanztests und Canary-/Shadow-Bereitstellungsstrategien verwenden. Messen Sie Leistungsunterschiede und treffen Sie datengesteuerte Entscheidungen zur Modelleinführung. Verwenden Sie es, wenn Sie eine neue Modellversion vor der vollständigen Einführung validieren, Kandidatenmodelle vergleichen, die mit unterschiedlichen Algorithmen trainiert wurden, die Auswirkungen von Modelländerungen auf Geschäftsmetriken messen oder wenn regulatorische Anforderungen eine schrittweise Einführung erfordern. Quelle: pjt222/development-guides.