model-serving

SKILL.md

Deploy LLM and ML models for production inference with optimized serving engines, streaming response patterns, and orchestration frameworks. Focuses on self-hosted model serving, GPU optimization, and integration with frontend applications.

This skill provides the backend serving layer for the ai-chat skill.

See references/langchain-orchestration.md and examples/langchain-rag-qdrant/ for complete patterns.

Implementación de modelos LLM y ML para inferencia. Úselo cuando proporcione modelos en producción, cree API de IA u optimice la inferencia. Cubre vLLM (servicio LLM), TensorRT-LLM (optimización de GPU), Ollama (local), BentoML (implementación de ML), Triton (multimodelo), LangChain (orquestación), LlamaIndex (RAG) y patrones de transmisión. Fuente: ancoleman/ai-design-components.

Ver original