retrospective validation

SKILL.md

When you have 1,000 past errors, you don't need to wait for 1,000 future errors to prove your methodology works.

Result: Tool would have prevented 152 errors with 79% confidence.

| Time | Hours-days | Weeks-months | | Cost | Low (queries) | High (deployment) | | Risk | Zero | May introduce issues | | Confidence | 0.60-0.95 | 0.90-1.0 | | Data | Historical | New | | Scope | Full history | Limited window | | Bias | Hindsight | None |

ライブ展開を行わずに履歴データを使用して方法論の有効性を検証します。豊富な履歴データが存在し (100 以上のインスタンス)、方法論が観察可能なパターン (エラー防止、テスト戦略、パフォーマンスの最適化) をターゲットにしており、パターン マッチングが明確な検出ルールで実現可能で、ライブ デプロイメントの摩擦が大きい場合 (CI/CD 統合作業、ユーザーの検討時間、デプロイメント リスク) に使用します。将来の検証と比較して 40 ～ 60% の時間短縮、60 ～ 80% のコスト削減が可能になります。信頼度計算モデルは統計的な厳密さを提供します。エラー回復で検証済み (1,336 件のエラー、23.7% の防止、0.79 の信頼度)。 ソース: zpankz/mcp-skillset。

原文を見る