Produce an AI Evals Pack (in chat; or as files if requested), in this order:
1) Eval PRD (evaluation requirements): decision, scope, target behaviors, success metrics, acceptance thresholds 2) Test set spec + initial golden set: schema, coverage plan, and a starter set of cases (tagged by scenario/risk) 3) Error taxonomy (from error analysis + open coding): failure modes, severity, examples
4) Rubric + judging guide: dimensions, scoring scale, definitions, examples, tie-breakers 5) Judge + harness plan: human vs LLM-as-judge vs automated checks, prompts/instructions, calibration, runbook, cost/time estimate 6) Reporting + iteration loop: baseline results format, regression policy, how new bugs become new tests
Cree un paquete de evaluaciones de IA (evaluación PRD, conjunto de pruebas, rúbrica, plan de jueces, resultados + bucle de iteración). Úselo para evaluación de LLM, puntos de referencia, rúbricas, análisis de errores/codificación abierta y puertas de calidad de envío/no envío para funciones de IA. Fuente: oldwinter/skills.