llm-as-a-judge

Build reliable automated evaluators that use an LLM to judge the outputs of another LLM pipeline. Each judge targets a single, binary (Pass/Fail) failure mode identified during error analysis.

Use code-based evaluators when the failure is objective and deterministic:

Each failure mode gets its own dedicated evaluator. Never combine multiple criteria into a single judge prompt—this introduces ambiguity and makes diagnosis harder.

Создавайте, проверяйте и развертывайте оценщики LLM-as-Judge для автоматизированной оценки качества результатов конвейера LLM. Используйте этот навык всякий раз, когда пользователь хочет: создать автоматизированный оценщик для субъективных или тонких режимов неудач, написать подсказку для оценки для оценки «прошел/не пройден», разделить помеченные данные для разработки оценки, измерить согласованность судей (TPR/TNR), оценить истинные показатели успеха с коррекцией смещения или настроить конвейеры оценки CI. Также срабатывает, когда пользователь упоминает «подсказку судьи», «автоматическую оценку», «оценщик LLM», «подсказку об оценке», «метрики согласования», «истинный положительный рейтинг» или хочет перейти от ручного просмотра трассировки к автоматической оценке. Этот навык охватывает полный жизненный цикл: быстрое проектирование → разделение данных → итеративное уточнение → оценка степени успеха. Источник: maragudk/evals-skills.