failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

Cree una taxonomía estructurada de modos de falla a partir de anotaciones de seguimiento de código abierto. Utilice esta habilidad siempre que el usuario tenga anotaciones de forma libre al revisar los seguimientos de LLM y desee agruparlas en un conjunto coherente y no superpuesto de categorías de fallas binarias (codificación axial). Úselo también cuando el usuario mencione "modos de falla", "taxonomía de errores", "codificación axial", "anotaciones de conglomerados", "categorizar errores", "análisis de fallas" o quiera pasar de notas de observación sin procesar a criterios de evaluación estructurados. Esta habilidad cubre todo el proceso: agrupar códigos abiertos, definir modos de falla, reetiquetar rastros y cuantificar tasas de error. Fuente: maragudk/evals-skills.