high-performance-inference

SKILL.md

Optimize LLM inference for production with vLLM 0.14.x, quantization, and speculative decoding.

vLLM 0.14.0 (Jan 2026): PyTorch 2.9.0, CUDA 12.9, AttentionConfig API, Python 3.12+ recommended.

| PagedAttention | Up to 24x throughput via efficient KV cache | | Continuous Batching | Dynamic request batching for max utilization | | CUDA Graphs | Fast model execution with graph capture | | Tensor Parallelism | Scale across multiple GPUs | | Prefix Caching | Reuse KV cache for shared prefixes |

Inférence LLM hautes performances avec vLLM, quantification (AWQ, GPTQ, FP8), décodage spéculatif et déploiement périphérique. À utiliser pour optimiser la latence, le débit ou la mémoire d’inférence. Source : yonatangross/orchestkit.

Voir l'original