Calibre un juez de LLM frente a etiquetas humanas mediante divisiones de datos, TPR/TNR y corrección de sesgos. Úselo después de escribir un mensaje de juez (write-judge-prompt) cuando necesite verificar la alineación antes de confiar en sus resultados. NO lo use para evaluadores basados en código (esos son deterministas; pruebe con pruebas unitarias estándar).
Instala rápidamente el skill de IA validate-evaluator en tu entorno de desarrollo mediante línea de comandos
Fuente: hamelsmu/evals-skills.
| Training | 10-20% (10-20 examples) | Source of few-shot examples for the judge prompt | Only clear-cut Pass and Fail cases. Used directly in the prompt. | | Dev | 40-45% (40-45 examples) | Iterative evaluator refinement | Never include in the prompt. Evaluate against repeatedly. |
| Test | 40-45% (40-45 examples) | Final unbiased accuracy measurement | Do NOT look at during development. Used once at the end. |
Target: 30-50 examples of each class (Pass and Fail) across dev and test combined. Use balanced splits even if real-world prevalence is skewed — you need enough Fail examples to measure TNR reliably.
Calibre un juez de LLM frente a etiquetas humanas mediante divisiones de datos, TPR/TNR y corrección de sesgos. Úselo después de escribir un mensaje de juez (write-judge-prompt) cuando necesite verificar la alineación antes de confiar en sus resultados. NO lo use para evaluadores basados en código (esos son deterministas; pruebe con pruebas unitarias estándar). Fuente: hamelsmu/evals-skills.
Campos y comandos estables para citas de IA/búsqueda.
npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluatorCalibre un juez de LLM frente a etiquetas humanas mediante divisiones de datos, TPR/TNR y corrección de sesgos. Úselo después de escribir un mensaje de juez (write-judge-prompt) cuando necesite verificar la alineación antes de confiar en sus resultados. NO lo use para evaluadores basados en código (esos son deterministas; pruebe con pruebas unitarias estándar). Fuente: hamelsmu/evals-skills.
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code, Cursor u OpenClaw
https://github.com/hamelsmu/evals-skills