torchserve

TorchServe is a flexible and easy-to-use tool for serving PyTorch models. It provides capabilities for packaging models, scaling workers based on hardware availability, and managing multiple model versions via a REST/gRPC API.

Use TorchServe when you need a production-ready inference server that handles multi-GPU load balancing, request batching, and custom preprocessing/postprocessing logic via Python handlers.

PyTorch のモデル サービング エンジン。 MAR パッケージ化、前処理/推論用のカスタム ハンドラー、マルチ GPU ワーカー スケーリングの管理に焦点を当てています。 (torchserve、mar ファイル、ハンドラー、basehandler、モデル アーカイバー、推論 API) ソース: cuba6112/skillfactory。

ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/cuba6112/skillfactory --skill torchserve インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code、Cursor、OpenClaw で使用できるようになります