model-serving
✓用于推理的 LLM 和 ML 模型部署。在生产中提供模型、构建 AI API 或优化推理时使用。涵盖 vLLM（LLM 服务）、TensorRT-LLM（GPU 优化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（编排）、LlamaIndex (RAG) 和流模式。
SKILL.md
Deploy LLM and ML models for production inference with optimized serving engines, streaming response patterns, and orchestration frameworks. Focuses on self-hosted model serving, GPU optimization, and integration with frontend applications.
This skill provides the backend serving layer for the ai-chat skill.
See references/langchain-orchestration.md and examples/langchain-rag-qdrant/ for complete patterns.
用于推理的 LLM 和 ML 模型部署。在生产中提供模型、构建 AI API 或优化推理时使用。涵盖 vLLM（LLM 服务）、TensorRT-LLM（GPU 优化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（编排）、LlamaIndex (RAG) 和流模式。 来源：ancoleman/ai-design-components。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/ancoleman/ai-design-components --skill model-serving- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-01
- 更新时间
- 2026-02-18
快速解答
什么是 model-serving？
用于推理的 LLM 和 ML 模型部署。在生产中提供模型、构建 AI API 或优化推理时使用。涵盖 vLLM（LLM 服务）、TensorRT-LLM（GPU 优化）、Ollama（本地）、BentoML（ML 部署）、Triton（多模型）、LangChain（编排）、LlamaIndex (RAG) 和流模式。 来源：ancoleman/ai-design-components。
如何安装 model-serving？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/ancoleman/ai-design-components --skill model-serving 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/ancoleman/ai-design-components
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-01