llm-evaluation

SKILL.md

Evaluate and validate LLM outputs for quality assurance using RAGAS and LLM-as-judge patterns.

| Faithfulness | RAG grounding | ≥ 0.8 | | Answer Relevancy | Q&A systems | ≥ 0.7 | | Context Precision | Retrieval quality | ≥ 0.7 | | Context Recall | Retrieval completeness | ≥ 0.7 |

| Judge model | GPT-4o-mini or Claude Haiku | | Threshold | 0.7 for production, 0.6 for drafts | | Dimensions | 3-5 most relevant to use case | | Sample size | 50+ for reliable metrics |

Évaluation des résultats du LLM et évaluation de la qualité. À utiliser lors de la mise en œuvre de modèles LLM en tant que juge, de contrôles de qualité pour les résultats de l'IA ou de pipelines d'évaluation automatisés. Source : yonatangross/orchestkit.

Voir l'original