llm-as-a-judge

Build reliable automated evaluators that use an LLM to judge the outputs of another LLM pipeline. Each judge targets a single, binary (Pass/Fail) failure mode identified during error analysis.

Use code-based evaluators when the failure is objective and deterministic:

Each failure mode gets its own dedicated evaluator. Never combine multiple criteria into a single judge prompt—this introduces ambiguity and makes diagnosis harder.

Erstellen, validieren und implementieren Sie LLM-as-Judge-Evaluatoren für die automatisierte Qualitätsbewertung der LLM-Pipeline-Ergebnisse. Verwenden Sie diese Fertigkeit, wann immer der Benutzer einen automatisierten Bewerter für subjektive oder nuancierte Fehlermodi erstellen möchte, eine Aufforderung zur Gut/Schlecht-Beurteilung verfassen, beschriftete Daten für die Gutachterentwicklung aufteilen, die Richterausrichtung (TPR/TNR) messen, echte Erfolgsraten mit Bias-Korrektur schätzen oder CI-Bewertungspipelines einrichten möchte. Wird auch ausgelöst, wenn der Benutzer „Beurteilungsaufforderung“, „automatisierte Bewertung“, „LLM-Bewerter“, „Bewertungsaufforderung“, „Ausrichtungsmetriken“, „True-Positive-Rate“ erwähnt oder von der manuellen Trace-Überprüfung zur automatisierten Bewertung wechseln möchte. Diese Fähigkeit deckt den gesamten Lebenszyklus ab: Prompt-Design → Datenaufteilung → iterative Verfeinerung → Erfolgsratenschätzung. Quelle: maragudk/evals-skills.