failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

Costruisci una tassonomia strutturata delle modalità di errore da annotazioni di traccia a codice aperto. Utilizzare questa competenza ogni volta che l'utente dispone di annotazioni in formato libero dalla revisione delle tracce LLM e desidera raggrupparle in un insieme coerente e non sovrapposto di categorie di guasti binari (codifica assiale). Utilizzare anche quando l'utente menziona "modalità di guasto", "tassonomia degli errori", "codifica assiale", "annotazioni di cluster", "classificazione degli errori", "analisi dei guasti" o desidera passare da note di osservazione grezze a criteri di valutazione strutturati. Questa competenza copre l'intera pipeline: raggruppamento di codici aperti, definizione delle modalità di errore, rietichettatura delle tracce e quantificazione dei tassi di errore. Fonte: maragudk/evals-skills.