Was ist vllm-deployment?
Stellen Sie vLLM für leistungsstarke LLM-Inferenz bereit. Deckt Docker-CPU/GPU-Bereitstellungen und Cloud-VM-Bereitstellung mit OpenAI-kompatiblen API-Endpunkten ab. Quelle: stakpak/community-paks.
Stellen Sie vLLM für leistungsstarke LLM-Inferenz bereit. Deckt Docker-CPU/GPU-Bereitstellungen und Cloud-VM-Bereitstellung mit OpenAI-kompatiblen API-Endpunkten ab.
Installieren Sie den KI-Skill vllm-deployment schnell in Ihrer Entwicklungsumgebung über die Kommandozeile
Quelle: stakpak/community-paks.
| CPU | 2x model size | 4x model size | | GPU | Model size + 2GB | Model size + 4GB VRAM |
| VLLMCPUKVCACHESPACE | KV cache size in GB (CPU) | 4 | | VLLMCPUOMPTHREADSBIND | CPU core binding (CPU) | 0-7 | | CUDAVISIBLEDEVICES | GPU device selection | 0,1 | | HFTOKEN | HuggingFace authentication | hfxxx |
| --shm-size=4g | Shared memory for IPC | | --cap-add SYSNICE | NUMA optimization (CPU) | | --security-opt seccomp=unconfined | Memory policy syscalls (CPU) | | --gpus all | GPU access | | -p 8000:8000 | Port mapping |
Stellen Sie vLLM für leistungsstarke LLM-Inferenz bereit. Deckt Docker-CPU/GPU-Bereitstellungen und Cloud-VM-Bereitstellung mit OpenAI-kompatiblen API-Endpunkten ab. Quelle: stakpak/community-paks.
Stabile Felder und Befehle für KI/Such-Zitate.
npx skills add https://github.com/stakpak/community-paks --skill vllm-deploymentStellen Sie vLLM für leistungsstarke LLM-Inferenz bereit. Deckt Docker-CPU/GPU-Bereitstellungen und Cloud-VM-Bereitstellung mit OpenAI-kompatiblen API-Endpunkten ab. Quelle: stakpak/community-paks.
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/stakpak/community-paks --skill vllm-deployment Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code, Cursor oder OpenClaw
https://github.com/stakpak/community-paks