Что такое vllm-deployment?
Разверните vLLM для высокопроизводительного вывода LLM. Охватывает развертывание ЦП/ГП Docker и предоставление облачных виртуальных машин с конечными точками API, совместимыми с OpenAI. Источник: stakpak/community-paks.
Разверните vLLM для высокопроизводительного вывода LLM. Охватывает развертывание ЦП/ГП Docker и предоставление облачных виртуальных машин с конечными точками API, совместимыми с OpenAI.
Быстро установите AI-навык vllm-deployment в вашу среду разработки через командную строку
Источник: stakpak/community-paks.
| CPU | 2x model size | 4x model size | | GPU | Model size + 2GB | Model size + 4GB VRAM |
| VLLMCPUKVCACHESPACE | KV cache size in GB (CPU) | 4 | | VLLMCPUOMPTHREADSBIND | CPU core binding (CPU) | 0-7 | | CUDAVISIBLEDEVICES | GPU device selection | 0,1 | | HFTOKEN | HuggingFace authentication | hfxxx |
| --shm-size=4g | Shared memory for IPC | | --cap-add SYSNICE | NUMA optimization (CPU) | | --security-opt seccomp=unconfined | Memory policy syscalls (CPU) | | --gpus all | GPU access | | -p 8000:8000 | Port mapping |
Разверните vLLM для высокопроизводительного вывода LLM. Охватывает развертывание ЦП/ГП Docker и предоставление облачных виртуальных машин с конечными точками API, совместимыми с OpenAI. Источник: stakpak/community-paks.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/stakpak/community-paks --skill vllm-deploymentРазверните vLLM для высокопроизводительного вывода LLM. Охватывает развертывание ЦП/ГП Docker и предоставление облачных виртуальных машин с конечными точками API, совместимыми с OpenAI. Источник: stakpak/community-paks.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/stakpak/community-paks --skill vllm-deployment После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/stakpak/community-paks