serving-llms-vllm
✓使用 vLLM 的 PagedAttention 和連續批次為法學碩士提供高吞吐量服務。在部署生產 LLM API、最佳化推理延遲/吞吐量或為 GPU 記憶體有限的模型提供服務時使用。支援 OpenAI 相容端點、量化 (GPTQ/AWQ/FP8) 和張量並行性。
SKILL.md
vLLM achieves 24x higher throughput than standard transformers through PagedAttention (block-based KV cache) and continuous batching (mixing prefill/decode requests).
Server deployment patterns: See references/server-deployment.md for Docker, Kubernetes, and load balancing configurations.
Performance optimization: See references/optimization.md for PagedAttention tuning, continuous batching details, and benchmark results.
使用 vLLM 的 PagedAttention 和連續批次為法學碩士提供高吞吐量服務。在部署生產 LLM API、最佳化推理延遲/吞吐量或為 GPU 記憶體有限的模型提供服務時使用。支援 OpenAI 相容端點、量化 (GPTQ/AWQ/FP8) 和張量並行性。 來源：orchestra-research/ai-research-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill serving-llms-vllm- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-11
- 更新時間
- 2026-02-18
快速解答
什麼是 serving-llms-vllm？
使用 vLLM 的 PagedAttention 和連續批次為法學碩士提供高吞吐量服務。在部署生產 LLM API、最佳化推理延遲/吞吐量或為 GPU 記憶體有限的模型提供服務時使用。支援 OpenAI 相容端點、量化 (GPTQ/AWQ/FP8) 和張量並行性。 來源：orchestra-research/ai-research-skills。
如何安裝 serving-llms-vllm？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill serving-llms-vllm 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/orchestra-research/ai-research-skills
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-11