retrospective validation

SKILL.md

When you have 1,000 past errors, you don't need to wait for 1,000 future errors to prove your methodology works.

Result: Tool would have prevented 152 errors with 79% confidence.

| Time | Hours-days | Weeks-months | | Cost | Low (queries) | High (deployment) | | Risk | Zero | May introduce issues | | Confidence | 0.60-0.95 | 0.90-1.0 | | Data | Historical | New | | Scope | Full history | Limited window | | Bias | Hindsight | None |

Validez l’efficacité de la méthodologie à l’aide de données historiques sans déploiement en direct. À utiliser lorsque des données historiques riches existent (plus de 100 instances), que la méthodologie cible des modèles observables (prévention des erreurs, stratégie de test, optimisation des performances), que la correspondance de modèles est réalisable avec des règles de détection claires et que le déploiement en direct présente des frictions élevées (effort d'intégration CI/CD, temps d'étude des utilisateurs, risque de déploiement). Permet une réduction de temps de 40 à 60 % par rapport à la validation prospective, et une réduction des coûts de 60 à 80 %. Le modèle de calcul de confiance offre une rigueur statistique. Validé en récupération d'erreurs (1 336 erreurs, 23,7 % de prévention, 0,79 de confiance). Source : zpankz/mcp-skillset.

Voir l'original