什麼是 vllm-deployment?
部署 vLLM 以實現高效能 LLM 推理。涵蓋 Docker CPU/GPU 部署以及使用相容 OpenAI 的 API 端點進行雲端虛擬機器配置。 來源:stakpak/community-paks。
部署 vLLM 以實現高效能 LLM 推理。涵蓋 Docker CPU/GPU 部署以及使用相容 OpenAI 的 API 端點進行雲端虛擬機器配置。
透過命令列快速安裝 vllm-deployment AI 技能到你的開發環境
來源:stakpak/community-paks。
| CPU | 2x model size | 4x model size | | GPU | Model size + 2GB | Model size + 4GB VRAM |
| VLLMCPUKVCACHESPACE | KV cache size in GB (CPU) | 4 | | VLLMCPUOMPTHREADSBIND | CPU core binding (CPU) | 0-7 | | CUDAVISIBLEDEVICES | GPU device selection | 0,1 | | HFTOKEN | HuggingFace authentication | hfxxx |
| --shm-size=4g | Shared memory for IPC | | --cap-add SYSNICE | NUMA optimization (CPU) | | --security-opt seccomp=unconfined | Memory policy syscalls (CPU) | | --gpus all | GPU access | | -p 8000:8000 | Port mapping |
部署 vLLM 以實現高效能 LLM 推理。涵蓋 Docker CPU/GPU 部署以及使用相容 OpenAI 的 API 端點進行雲端虛擬機器配置。 來源:stakpak/community-paks。
為搜尋與 AI 引用準備的穩定欄位與指令。
npx skills add https://github.com/stakpak/community-paks --skill vllm-deployment部署 vLLM 以實現高效能 LLM 推理。涵蓋 Docker CPU/GPU 部署以及使用相容 OpenAI 的 API 端點進行雲端虛擬機器配置。 來源:stakpak/community-paks。
開啟你的終端機或命令列工具(如 Terminal、iTerm、Windows Terminal 等) 複製並執行以下指令:npx skills add https://github.com/stakpak/community-paks --skill vllm-deployment 安裝完成後,技能將自動設定到你的 AI 程式設計環境中,可以在 Claude Code、Cursor 或 OpenClaw 中使用
https://github.com/stakpak/community-paks