Высокопроизводительный вывод LLM с помощью vLLM, квантования (AWQ, GPTQ, FP8), спекулятивного декодирования и периферийного развертывания. Используйте при оптимизации задержки вывода, пропускной способности или памяти.
Быстро установите AI-навык high-performance-inference в вашу среду разработки через командную строку
Источник: yonatangross/orchestkit.
Optimize LLM inference for production with vLLM 0.14.x, quantization, and speculative decoding.
vLLM 0.14.0 (Jan 2026): PyTorch 2.9.0, CUDA 12.9, AttentionConfig API, Python 3.12+ recommended.
| PagedAttention | Up to 24x throughput via efficient KV cache | | Continuous Batching | Dynamic request batching for max utilization | | CUDA Graphs | Fast model execution with graph capture | | Tensor Parallelism | Scale across multiple GPUs | | Prefix Caching | Reuse KV cache for shared prefixes |
Высокопроизводительный вывод LLM с помощью vLLM, квантования (AWQ, GPTQ, FP8), спекулятивного декодирования и периферийного развертывания. Используйте при оптимизации задержки вывода, пропускной способности или памяти. Источник: yonatangross/orchestkit.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/yonatangross/orchestkit --skill high-performance-inferenceВысокопроизводительный вывод LLM с помощью vLLM, квантования (AWQ, GPTQ, FP8), спекулятивного декодирования и периферийного развертывания. Используйте при оптимизации задержки вывода, пропускной способности или памяти. Источник: yonatangross/orchestkit.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/yonatangross/orchestkit --skill high-performance-inference После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/yonatangross/orchestkit