judge

Evaluate agent task outputs against a three-dimension rubric and produce structured verdict records. The judge operates as a quality gate at the task completion boundary, scoring outputs on Semantic accuracy, Pragmatic usefulness, and Syntactic consistency.

The rubric reuses three dimensions from the KLS (Krogstie-Lindland-Sindre) quality framework defined in disciplined-quality-evaluation:

| Semantic | Does it accurately represent the domain? | Factual correctness, domain terminology, no contradictions | | Pragmatic | Does it enable the intended decisions/actions? | Actionable, useful, addresses the task goal | | Syntactic | Is it internally consistent and well-structured? | Format compliance, structural completeness, no broken references |

Bewerten Sie die Aufgabenausgaben von Agenten mithilfe einer dreidimensionalen Rubrik (semantisch, pragmatisch, syntaktisch), die aus dem KLS-Qualitätsrahmen abgeleitet ist. Verwenden Sie dies, wenn: (1) eine Aufgabe abgeschlossen wurde und vor der Annahme eine Qualitätsbewertung erfordert, (2) automatisierte Qualitätsprüfungen nach der Aufgabe erforderlich sind, (3) Konsensurteile für mehrere Modelle für Agentenausgaben erforderlich sind, (4) die Dokumentations-, Code- oder Spezifikationsqualität mit strukturierten JSON-Urteilen bewertet werden muss oder (5) nach einer Modellunstimmigkeit eine menschliche Fallback-Entscheidung erforderlich ist. Erstellt JSONL-Urteilsdatensätze, die mit dem Urteilsschema in „automation/judge/“ kompatibel sind. Quelle: terraphim/terraphim-skills.