advanced-evaluation

SKILL.md

LLM-as-a-Judge techniques for evaluating AI outputs. Not a single technique but a family of approaches - choosing the right one and mitigating biases is the core competency.

Direct Scoring: Single LLM rates one response on a defined scale.

Pairwise Comparison: LLM compares two responses and selects better one.

Maîtrisez les techniques d'évaluation LLM en tant que juge, notamment la notation directe, la comparaison par paires, la génération de rubriques et l'atténuation des biais. À utiliser lors de la création de systèmes d'évaluation, de la comparaison des résultats de modèles ou de l'établissement de normes de qualité pour le contenu généré par l'IA. Source : shipshitdev/library.

Voir l'original