failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

Erstellen Sie eine strukturierte Taxonomie von Fehlermodi aus offen codierten Trace-Anmerkungen. Verwenden Sie diese Fähigkeit immer dann, wenn der Benutzer über Freiformanmerkungen aus der Überprüfung von LLM-Traces verfügt und diese in einem kohärenten, nicht überlappenden Satz binärer Fehlerkategorien (axiale Codierung) gruppieren möchte. Verwenden Sie es auch, wenn der Benutzer „Fehlermodi“, „Fehlertaxonomie“, „axiale Kodierung“, „Clusteranmerkungen“, „Fehler kategorisieren“, „Fehleranalyse“ erwähnt oder von rohen Beobachtungsnotizen zu strukturierten Bewertungskriterien übergehen möchte. Diese Fähigkeit deckt die gesamte Pipeline ab: Gruppieren offener Codes, Definieren von Fehlermodi, Umbenennen von Spuren und Quantifizieren von Fehlerraten. Quelle: maragudk/evals-skills.