run-ab-test-models

Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.

Define test parameters, success criteria, and statistical requirements.

Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.

使用流量分割、统计显着性测试和金丝雀/影子部署策略，为生产中的 ML 模型设计和执行 A/B 测试。衡量性能差异并就模型部署做出数据驱动的决策。在全面推出之前验证新模型版本、比较使用不同算法训练的候选模型、衡量模型更改的业务指标影响或监管要求强制逐步推出时使用。 来源：pjt222/development-guides。