high-performance-inference
具有 vLLM、量化（AWQ、GPTQ、FP8）、推测解码和边缘部署的高性能 LLM 推理。在优化推理延迟、吞吐量或内存时使用。
SKILL.md
Optimize LLM inference for production with vLLM 0.14.x, quantization, and speculative decoding.
vLLM 0.14.0 (Jan 2026): PyTorch 2.9.0, CUDA 12.9, AttentionConfig API, Python 3.12+ recommended.
| PagedAttention | Up to 24x throughput via efficient KV cache | | Continuous Batching | Dynamic request batching for max utilization | | CUDA Graphs | Fast model execution with graph capture | | Tensor Parallelism | Scale across multiple GPUs | | Prefix Caching | Reuse KV cache for shared prefixes |
具有 vLLM、量化（AWQ、GPTQ、FP8）、推测解码和边缘部署的高性能 LLM 推理。在优化推理延迟、吞吐量或内存时使用。 来源：yonatangross/skillforge-claude-plugin。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/yonatangross/skillforge-claude-plugin --skill high-performance-inference- 分类
- </>开发工具
- 认证
- —
- 收录时间
- 2026-02-01
- 更新时间
- 2026-02-18
快速解答
什么是 high-performance-inference？
具有 vLLM、量化（AWQ、GPTQ、FP8）、推测解码和边缘部署的高性能 LLM 推理。在优化推理延迟、吞吐量或内存时使用。 来源：yonatangross/skillforge-claude-plugin。
如何安装 high-performance-inference？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/yonatangross/skillforge-claude-plugin --skill high-performance-inference 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/yonatangross/skillforge-claude-plugin
详情
- 分类
- </>开发工具
- 来源
- user
- 收录时间
- 2026-02-01