serving-llms-vllm
✓Brinda servicios a LLM con alto rendimiento utilizando PagedAttention de vLLM y procesamiento por lotes continuo. Úselo al implementar API LLM de producción, optimizar la latencia/rendimiento de inferencia o servir modelos con memoria de GPU limitada. Admite puntos finales compatibles con OpenAI, cuantificación (GPTQ/AWQ/FP8) y paralelismo tensorial.
SKILL.md
vLLM achieves 24x higher throughput than standard transformers through PagedAttention (block-based KV cache) and continuous batching (mixing prefill/decode requests).
Server deployment patterns: See references/server-deployment.md for Docker, Kubernetes, and load balancing configurations.
Performance optimization: See references/optimization.md for PagedAttention tuning, continuous batching details, and benchmark results.
Brinda servicios a LLM con alto rendimiento utilizando PagedAttention de vLLM y procesamiento por lotes continuo. Úselo al implementar API LLM de producción, optimizar la latencia/rendimiento de inferencia o servir modelos con memoria de GPU limitada. Admite puntos finales compatibles con OpenAI, cuantificación (GPTQ/AWQ/FP8) y paralelismo tensorial. Fuente: orchestra-research/ai-research-skills.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/orchestra-research/ai-research-skills --skill serving-llms-vllm- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-11
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es serving-llms-vllm?
Brinda servicios a LLM con alto rendimiento utilizando PagedAttention de vLLM y procesamiento por lotes continuo. Úselo al implementar API LLM de producción, optimizar la latencia/rendimiento de inferencia o servir modelos con memoria de GPU limitada. Admite puntos finales compatibles con OpenAI, cuantificación (GPTQ/AWQ/FP8) y paralelismo tensorial. Fuente: orchestra-research/ai-research-skills.
¿Cómo instalo serving-llms-vllm?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill serving-llms-vllm Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/orchestra-research/ai-research-skills
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-11