deploy-ml-model-serving とは?
REST/gRPC エンドポイントを備えた MLflow、BentoML、または Seldon Core を使用して、機械学習モデルを本番環境のサービス提供インフラストラクチャにデプロイし、大規模なハイパフォーマンス モデル推論のための自動スケーリング、モニタリング、A/B テスト機能を実装します。リアルタイム推論用のトレーニング済みモデルのデプロイ、REST または gRPC 予測 API のセットアップ、可変負荷の自動スケーリングの実装、モデル バージョン間での A/B テストの実行、またはバッチ推論からリアルタイム推論への移行の場合に使用します。 ソース: pjt222/development-guides。