Evaluate agent task outputs against a three-dimension rubric and produce structured verdict records. The judge operates as a quality gate at the task completion boundary, scoring outputs on Semantic accuracy, Pragmatic usefulness, and Syntactic consistency.
The rubric reuses three dimensions from the KLS (Krogstie-Lindland-Sindre) quality framework defined in disciplined-quality-evaluation:
| Semantic | Does it accurately represent the domain? | Factual correctness, domain terminology, no contradictions | | Pragmatic | Does it enable the intended decisions/actions? | Actionable, useful, addresses the task goal | | Syntactic | Is it internally consistent and well-structured? | Format compliance, structural completeness, no broken references |
قم بتقييم مخرجات مهمة الوكيل باستخدام معايير تقييم ثلاثية الأبعاد (دلالية، عملية، نحوية) مستمدة من إطار جودة KLS. يُستخدم عندما: (1) تم إكمال مهمة وتحتاج إلى تقييم الجودة قبل قبولها، (2) يلزم إجراء فحوصات تلقائية للجودة بعد المهمة، (3) تكون هناك حاجة إلى أحكام توافقية متعددة النماذج لمخرجات الوكيل، (4) يجب تسجيل جودة الوثائق أو التعليمات البرمجية أو المواصفات باستخدام أحكام JSON المنظمة، أو (5) يلزم اتخاذ قرار احتياطي بشري بعد اختلاف النموذج. إنتاج سجلات حكم JSONL متوافقة مع مخطط الحكم في التشغيل الآلي/القاضي/. المصدر: terraphim/terraphim-skills.