llm-integration

SKILL.md

Patterns for integrating LLMs into production applications: tool use, streaming, local inference, and fine-tuning. Each category has individual rule files in rules/ loaded on-demand.

| Category | Rules | Impact | When to Use |

| Function Calling | 3 | CRITICAL | Tool definitions, parallel execution, input validation | | Streaming | 3 | HIGH | SSE endpoints, structured streaming, backpressure handling | | Local Inference | 3 | HIGH | Ollama setup, model selection, GPU optimization | | Fine-Tuning | 3 | HIGH | LoRA/QLoRA training, dataset preparation, evaluation |

Modèles d'intégration LLM pour l'appel de fonctions, les réponses en streaming, l'inférence locale avec Ollama et la personnalisation fine. À utiliser lors de la mise en œuvre de l'utilisation d'outils, du streaming SSE, du déploiement de modèles locaux, du réglage fin LoRA/QLoRA ou des API LLM multi-fournisseurs. Source : yonatangross/orchestkit.

Voir l'original