Patterns for integrating LLMs into production applications: tool use, streaming, local inference, and fine-tuning. Each category has individual rule files in rules/ loaded on-demand.
| Category | Rules | Impact | When to Use |
| Function Calling | 3 | CRITICAL | Tool definitions, parallel execution, input validation | | Streaming | 3 | HIGH | SSE endpoints, structured streaming, backpressure handling | | Local Inference | 3 | HIGH | Ollama setup, model selection, GPU optimization | | Fine-Tuning | 3 | HIGH | LoRA/QLoRA training, dataset preparation, evaluation |
Modelli di integrazione LLM per chiamate di funzioni, risposte in streaming, inferenza locale con Ollama e personalizzazione della messa a punto. Da utilizzare durante l'implementazione dell'uso degli strumenti, dello streaming SSE, della distribuzione del modello locale, della messa a punto di LoRA/QLoRA o delle API LLM multi-provider. Fonte: yonatangross/orchestkit.