트래픽 분할, 통계적 유의성 테스트, 카나리아/섀도 배포 전략을 사용하여 프로덕션에서 ML 모델에 대한 A/B 테스트를 설계하고 실행합니다. 성능 차이를 측정하고 모델 출시에 관해 데이터 기반 결정을 내립니다. 전체 출시 전에 새 모델 버전을 검증할 때, 다양한 알고리즘으로 훈련된 후보 모델을 비교할 때, 모델 변경이 비즈니스 지표에 미치는 영향을 측정할 때, 또는 규제 요구 사항에 따라 점진적 출시가 요구되는 경우에 사용하세요.
명령줄에서 run-ab-test-models AI 스킬을 개발 환경에 빠르게 설치
출처: pjt222/development-guides.
Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.
Define test parameters, success criteria, and statistical requirements.
Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.
트래픽 분할, 통계적 유의성 테스트, 카나리아/섀도 배포 전략을 사용하여 프로덕션에서 ML 모델에 대한 A/B 테스트를 설계하고 실행합니다. 성능 차이를 측정하고 모델 출시에 관해 데이터 기반 결정을 내립니다. 전체 출시 전에 새 모델 버전을 검증할 때, 다양한 알고리즘으로 훈련된 후보 모델을 비교할 때, 모델 변경이 비즈니스 지표에 미치는 영향을 측정할 때, 또는 규제 요구 사항에 따라 점진적 출시가 요구되는 경우에 사용하세요. 출처: pjt222/development-guides.
AI/검색 인용용 안정적인 필드와 명령어.
npx skills add https://github.com/pjt222/development-guides --skill run-ab-test-models트래픽 분할, 통계적 유의성 테스트, 카나리아/섀도 배포 전략을 사용하여 프로덕션에서 ML 모델에 대한 A/B 테스트를 설계하고 실행합니다. 성능 차이를 측정하고 모델 출시에 관해 데이터 기반 결정을 내립니다. 전체 출시 전에 새 모델 버전을 검증할 때, 다양한 알고리즘으로 훈련된 후보 모델을 비교할 때, 모델 변경이 비즈니스 지표에 미치는 영향을 측정할 때, 또는 규제 요구 사항에 따라 점진적 출시가 요구되는 경우에 사용하세요. 출처: pjt222/development-guides.
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/pjt222/development-guides --skill run-ab-test-models 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code, Cursor, OpenClaw에서 사용할 수 있습니다
https://github.com/pjt222/development-guides