advanced-evaluation

This skill covers production-grade techniques for evaluating LLM outputs using LLMs as judges. It synthesizes research from academic papers, industry practices, and practical implementation experience into actionable patterns for building reliable evaluation systems.

Key insight: LLM-as-a-Judge is not a single technique but a family of approaches, each suited to different evaluation contexts. Choosing the right approach and mitigating known biases is the core competency this skill develops.

Evaluation approaches fall into two primary categories with distinct reliability profiles:

このスキルは、ユーザーが「LLM-as-judge の実​​装」、「モデル出力の比較」、「評価ルーブリックの作成」、「評価バイアスの軽減」を要求する場合、または直接スコアリング、ペアごとの比較、位置バイアス、評価パイプライン、または自動品質評価に言及する場合に使用する必要があります。 ソース: chakshugautam/games。