high-performance-inference
具有 vLLM、量化（AWQ、GPTQ、FP8）、推測解碼和邊緣部署的高性能 LLM 推理。在優化推理延遲、吞吐量或內存時使用。
SKILL.md
Optimize LLM inference for production with vLLM 0.14.x, quantization, and speculative decoding.
vLLM 0.14.0 (Jan 2026): PyTorch 2.9.0, CUDA 12.9, AttentionConfig API, Python 3.12+ recommended.
| PagedAttention | Up to 24x throughput via efficient KV cache | | Continuous Batching | Dynamic request batching for max utilization | | CUDA Graphs | Fast model execution with graph capture | | Tensor Parallelism | Scale across multiple GPUs | | Prefix Caching | Reuse KV cache for shared prefixes |
具有 vLLM、量化（AWQ、GPTQ、FP8）、推測解碼和邊緣部署的高性能 LLM 推理。在優化推理延遲、吞吐量或內存時使用。 來源：yonatangross/skillforge-claude-plugin。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/yonatangross/skillforge-claude-plugin --skill high-performance-inference- 分類
- </>開發工具
- 認證
- —
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 high-performance-inference？
具有 vLLM、量化（AWQ、GPTQ、FP8）、推測解碼和邊緣部署的高性能 LLM 推理。在優化推理延遲、吞吐量或內存時使用。 來源：yonatangross/skillforge-claude-plugin。
如何安裝 high-performance-inference？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/yonatangross/skillforge-claude-plugin --skill high-performance-inference 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/yonatangross/skillforge-claude-plugin
詳情
- 分類
- </>開發工具
- 來源
- user
- 收錄時間
- 2026-02-01