failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

Créez une taxonomie structurée des modes de défaillance à partir d'annotations de trace codées ouvertes. Utilisez cette compétence chaque fois que l'utilisateur dispose d'annotations de forme libre suite à l'examen des traces LLM et souhaite les regrouper dans un ensemble cohérent et sans chevauchement de catégories de défaillance binaires (codage axial). À utiliser également lorsque l'utilisateur mentionne "modes de défaillance", "taxonomie des erreurs", "codage axial", "annotations de cluster", "catégoriser les erreurs", "analyse des défaillances", ou souhaite passer de notes d'observation brutes à des critères d'évaluation structurés. Cette compétence couvre l'ensemble du pipeline : regrouper les codes ouverts, définir les modes de défaillance, réétiqueter les traces et quantifier les taux d'erreur. Source : maragudk/evals-skills.