run-ab-test-models

Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.

Define test parameters, success criteria, and statistical requirements.

Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.

تصميم وتنفيذ اختبارات A/B لنماذج تعلم الآلة في الإنتاج باستخدام تقسيم حركة المرور واختبار الأهمية الإحصائية واستراتيجيات نشر الكناري/الظل. قم بقياس اختلافات الأداء واتخاذ قرارات مبنية على البيانات حول طرح النموذج. يُستخدم عند التحقق من صحة إصدار نموذج جديد قبل الطرح الكامل، أو مقارنة النماذج المرشحة التي تم تدريبها باستخدام خوارزميات مختلفة، أو قياس تأثير مقياس الأعمال لتغييرات النموذج، أو عندما تتطلب المتطلبات التنظيمية الطرح التدريجي. المصدر: pjt222/development-guides.