error-analysis

Guide the user through reading LLM pipeline traces and building a catalog of how the system fails.

Capture the full trace: input, all intermediate LLM calls, tool uses, retrieved documents, reasoning steps, and final output.

Target: 100 traces. This is roughly where new traces stop revealing new kinds of failures. The number depends on system complexity.

トレースを読み取ることで、ユーザーが LLM パイプライン内の障害モードを体系的に特定して分類できるようにします。新しい評価プロジェクトを開始するとき、パイプラインの大幅な変更 (新機能、モデルの切り替え、プロンプトの書き換え) 後、運用メトリクスが低下したとき、またはインシデントの後に使用します。 ソース: hamelsmu/evals-skills。