model-serving
✓Bereitstellung von LLM- und ML-Modellen für Inferenz. Verwenden Sie es, wenn Sie Modelle in der Produktion bereitstellen, KI-APIs erstellen oder Inferenz optimieren. Deckt vLLM (LLM-Bereitstellung), TensorRT-LLM (GPU-Optimierung), Ollama (lokal), BentoML (ML-Bereitstellung), Triton (Multi-Modell), LangChain (Orchestrierung), LlamaIndex (RAG) und Streaming-Muster ab.
Installation
SKILL.md
Deploy LLM and ML models for production inference with optimized serving engines, streaming response patterns, and orchestration frameworks. Focuses on self-hosted model serving, GPU optimization, and integration with frontend applications.
This skill provides the backend serving layer for the ai-chat skill.
See references/langchain-orchestration.md and examples/langchain-rag-qdrant/ for complete patterns.
Bereitstellung von LLM- und ML-Modellen für Inferenz. Verwenden Sie es, wenn Sie Modelle in der Produktion bereitstellen, KI-APIs erstellen oder Inferenz optimieren. Deckt vLLM (LLM-Bereitstellung), TensorRT-LLM (GPU-Optimierung), Ollama (lokal), BentoML (ML-Bereitstellung), Triton (Multi-Modell), LangChain (Orchestrierung), LlamaIndex (RAG) und Streaming-Muster ab. Quelle: ancoleman/ai-design-components.
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/ancoleman/ai-design-components --skill model-serving- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-01
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist model-serving?
Bereitstellung von LLM- und ML-Modellen für Inferenz. Verwenden Sie es, wenn Sie Modelle in der Produktion bereitstellen, KI-APIs erstellen oder Inferenz optimieren. Deckt vLLM (LLM-Bereitstellung), TensorRT-LLM (GPU-Optimierung), Ollama (lokal), BentoML (ML-Bereitstellung), Triton (Multi-Modell), LangChain (Orchestrierung), LlamaIndex (RAG) und Streaming-Muster ab. Quelle: ancoleman/ai-design-components.
Wie installiere ich model-serving?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/ancoleman/ai-design-components --skill model-serving Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/ancoleman/ai-design-components
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-01