run-ab-test-models

Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.

Define test parameters, success criteria, and statistical requirements.

Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.

Разрабатывайте и проводите A/B-тесты для моделей машинного обучения в рабочей среде, используя разделение трафика, тестирование статистической значимости и стратегии канареечного/теневого развертывания. Измеряйте различия в производительности и принимайте решения на основе данных о развертывании модели. Используйте при проверке новой версии модели перед полным развертыванием, сравнении моделей-кандидатов, обученных с помощью различных алгоритмов, измерении влияния изменений модели на бизнес-метрики или когда нормативные требования требуют постепенного развертывания. Источник: pjt222/development-guides.