write-judge-prompt

Design a binary Pass/Fail LLM-as-Judge evaluator for one specific failure mode. Each judge checks exactly one thing.

State what the judge evaluates. One failure mode per judge.

Not: "Evaluate whether the email is good" or "Rate the email quality from 1-5."

Создавайте оценщиков LLM-as-Judge с учетом субъективных критериев, с которыми не могут справиться проверки на основе кода. Используйте, когда вид отказа требует интерпретации (тон, достоверность, актуальность, полнота). НЕ используйте, если режим сбоя можно проверить с помощью кода (регулярное выражение, проверка схемы, тесты выполнения). НЕ используйте, когда вам нужно проверить или откалибровать судью — вместо этого используйте validate-evaluator. Источник: hamelsmu/evals-skills.