model-serving
✓用於推理的 LLM 和 ML 模型部署。在生產中提供模型、構建 AI API 或優化推理時使用。涵蓋 vLLM（LLM 服務）、TensorRT-LLM（GPU 優化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（編排）、LlamaIndex (RAG) 和流模式。
SKILL.md
Deploy LLM and ML models for production inference with optimized serving engines, streaming response patterns, and orchestration frameworks. Focuses on self-hosted model serving, GPU optimization, and integration with frontend applications.
This skill provides the backend serving layer for the ai-chat skill.
See references/langchain-orchestration.md and examples/langchain-rag-qdrant/ for complete patterns.
用於推理的 LLM 和 ML 模型部署。在生產中提供模型、構建 AI API 或優化推理時使用。涵蓋 vLLM（LLM 服務）、TensorRT-LLM（GPU 優化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（編排）、LlamaIndex (RAG) 和流模式。 來源：ancoleman/ai-design-components。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/ancoleman/ai-design-components --skill model-serving- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 model-serving？
用於推理的 LLM 和 ML 模型部署。在生產中提供模型、構建 AI API 或優化推理時使用。涵蓋 vLLM（LLM 服務）、TensorRT-LLM（GPU 優化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（編排）、LlamaIndex (RAG) 和流模式。 來源：ancoleman/ai-design-components。
如何安裝 model-serving？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/ancoleman/ai-design-components --skill model-serving 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/ancoleman/ai-design-components
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-01