llm-as-a-judge

Build reliable automated evaluators that use an LLM to judge the outputs of another LLM pipeline. Each judge targets a single, binary (Pass/Fail) failure mode identified during error analysis.

Use code-based evaluators when the failure is objective and deterministic:

Each failure mode gets its own dedicated evaluator. Never combine multiple criteria into a single judge prompt—this introduces ambiguity and makes diagnosis harder.

قم ببناء مقيمي LLM-as-Judge والتحقق من صحتهم ونشرهم لتقييم الجودة الآلي لمخرجات خط أنابيب LLM. استخدم هذه المهارة عندما يريد المستخدم: إنشاء مقيم آلي لأوضاع الفشل الذاتية أو الدقيقة، أو كتابة موجه حكم لتقييم النجاح/الفشل، أو تقسيم البيانات المصنفة لتطوير القاضي، أو قياس محاذاة القاضي (TPR/TNR)، أو تقدير معدلات النجاح الحقيقية مع تصحيح التحيز، أو إعداد خطوط أنابيب تقييم CI. يتم تشغيله أيضًا عندما يذكر المستخدم "مطالبة القاضي"، أو "التقييم التلقائي"، أو "مقيم LLM"، أو "مطالبة التقدير"، أو "مقاييس المحاذاة"، أو "المعدل الإيجابي الحقيقي"، أو يريد الانتقال من مراجعة التتبع اليدوية إلى التقييم الآلي. تغطي هذه المهارة دورة الحياة الكاملة: التصميم الفوري ← تقسيم البيانات ← التحسين التكراري ← تقدير معدل النجاح. المصدر: maragudk/evals-skills.