run-ab-test-models

Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.

Define test parameters, success criteria, and statistical requirements.

Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.

使用流量分割、統計顯著性測試和金絲雀/影子部署策略，為生產中的 ML 模型設計和執行 A/B 測試。衡量效能差異並就模型部署做出數據驅動的決策。在全面推出之前驗證新模型版本、比較使用不同演算法訓練的候選模型、衡量模型變更的業務指標影響或監管要求強制逐步推出時使用。 來源：pjt222/development-guides。