failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

オープンコード化されたトレース アノテーションから障害モードの構造化された分類を構築します。ユーザーが LLM トレースのレビューから自由形式の注釈を取得し、それらを一貫した重複しない 2 値故障カテゴリのセット (軸方向コーディング) にクラスター化したい場合は、このスキルを使用します。ユーザーが「故障モード」、「エラー分類」、「軸方向コーディング」、「クラスター注釈」、「エラーの分類」、「故障分析」について言及する場合、または生の観察ノートから構造化された評価基準に移行したい場合にも使用します。このスキルは、オープン コードのグループ化、障害モードの定義、トレースの再ラベル付け、エラー率の定量化など、パイプライン全体をカバーします。 ソース: maragudk/evals-skills。