serving-llms-vllm

SKILL.md

vLLM achieves 24x higher throughput than standard transformers through PagedAttention (block-based KV cache) and continuous batching (mixing prefill/decode requests).

Server deployment patterns: See references/server-deployment.md for Docker, Kubernetes, and load balancing configurations.

Performance optimization: See references/optimization.md for PagedAttention tuning, continuous batching details, and benchmark results.

Sert des LLM avec un débit élevé à l'aide de PagedAttention et du traitement par lots continu de vLLM. À utiliser lors du déploiement d'API LLM de production, de l'optimisation de la latence/débit d'inférence ou de la diffusion de modèles avec une mémoire GPU limitée. Prend en charge les points de terminaison compatibles OpenAI, la quantification (GPTQ/AWQ/FP8) et le parallélisme tensoriel. Source : orchestra-research/ai-research-skills.

Voir l'original