model-serving

SKILL.md

Deploy LLM and ML models for production inference with optimized serving engines, streaming response patterns, and orchestration frameworks. Focuses on self-hosted model serving, GPU optimization, and integration with frontend applications.

This skill provides the backend serving layer for the ai-chat skill.

See references/langchain-orchestration.md and examples/langchain-rag-qdrant/ for complete patterns.

Déploiement de modèles LLM et ML pour l'inférence. À utiliser lors de la diffusion de modèles en production, de la création d'API d'IA ou de l'optimisation de l'inférence. Couvre vLLM (service LLM), TensorRT-LLM (optimisation GPU), Ollama (local), BentoML (déploiement ML), Triton (multimodèle), LangChain (orchestration), LlamaIndex (RAG) et les modèles de streaming. Source : ancoleman/ai-design-components.

Voir l'original