llm-evaluation

SKILL.md

Evaluate and validate LLM outputs for quality assurance using RAGAS and LLM-as-judge patterns.

| Faithfulness | RAG grounding | ≥ 0.8 | | Answer Relevancy | Q&A systems | ≥ 0.7 | | Context Precision | Retrieval quality | ≥ 0.7 | | Context Recall | Retrieval completeness | ≥ 0.7 |

| Judge model | GPT-4o-mini or Claude Haiku | | Threshold | 0.7 for production, 0.6 for drafts | | Dimensions | 3-5 most relevant to use case | | Sample size | 50+ for reliable metrics |

LLM 결과물 평가 및 품질 평가. 판사로서의 LLM 패턴, AI 출력을 위한 품질 게이트 또는 자동화된 평가 파이프라인을 구현할 때 사용합니다. 출처: yonatangross/orchestkit.

원본 보기