トラフィック分割、統計的有意性テスト、カナリア/シャドウ展開戦略を使用して、本番環境で ML モデルの A/B テストを設計および実行します。パフォーマンスの違いを測定し、モデルの展開についてデータに基づいて意思決定を行います。完全なロールアウトの前に新しいモデル バージョンを検証する場合、異なるアルゴリズムでトレーニングされた候補モデルを比較する場合、モデル変更のビジネス メトリクスへの影響を測定する場合、または規制要件により段階的なロールアウトが義務付けられている場合に使用します。
コマンドラインで run-ab-test-models AI スキルを開発環境にすばやくインストール
ソース: pjt222/development-guides。
Execute controlled experiments comparing model versions using traffic splitting and statistical analysis.
Define test parameters, success criteria, and statistical requirements.
Expected: Experiment configuration with statistically sound sample size calculation, typically 5-10k samples per variant for 5-10% MDE.
トラフィック分割、統計的有意性テスト、カナリア/シャドウ展開戦略を使用して、本番環境で ML モデルの A/B テストを設計および実行します。パフォーマンスの違いを測定し、モデルの展開についてデータに基づいて意思決定を行います。完全なロールアウトの前に新しいモデル バージョンを検証する場合、異なるアルゴリズムでトレーニングされた候補モデルを比較する場合、モデル変更のビジネス メトリクスへの影響を測定する場合、または規制要件により段階的なロールアウトが義務付けられている場合に使用します。 ソース: pjt222/development-guides。
AI/検索での引用用の安定したフィールドとコマンド。
npx skills add https://github.com/pjt222/development-guides --skill run-ab-test-modelsトラフィック分割、統計的有意性テスト、カナリア/シャドウ展開戦略を使用して、本番環境で ML モデルの A/B テストを設計および実行します。パフォーマンスの違いを測定し、モデルの展開についてデータに基づいて意思決定を行います。完全なロールアウトの前に新しいモデル バージョンを検証する場合、異なるアルゴリズムでトレーニングされた候補モデルを比較する場合、モデル変更のビジネス メトリクスへの影響を測定する場合、または規制要件により段階的なロールアウトが義務付けられている場合に使用します。 ソース: pjt222/development-guides。
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/pjt222/development-guides --skill run-ab-test-models インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code、Cursor、OpenClaw で使用できるようになります
https://github.com/pjt222/development-guides