retrospective validation

SKILL.md

When you have 1,000 past errors, you don't need to wait for 1,000 future errors to prove your methodology works.

Result: Tool would have prevented 152 errors with 79% confidence.

| Time | Hours-days | Weeks-months | | Cost | Low (queries) | High (deployment) | | Risk | Zero | May introduce issues | | Confidence | 0.60-0.95 | 0.90-1.0 | | Data | Historical | New | | Scope | Full history | Limited window | | Bias | Hindsight | None |

Valide la efectividad de la metodología utilizando datos históricos sin implementación en vivo. Úselo cuando existan datos históricos ricos (más de 100 instancias), la metodología se dirija a patrones observables (prevención de errores, estrategia de prueba, optimización del rendimiento), la coincidencia de patrones sea factible con reglas de detección claras y la implementación en vivo tenga una alta fricción (esfuerzo de integración de CI/CD, tiempo de estudio del usuario, riesgo de implementación). Permite una reducción del tiempo del 40 al 60 % frente a la validación prospectiva y una reducción de costos del 60 al 80 %. El modelo de cálculo de confianza proporciona rigor estadístico. Validado en recuperación de errores (1.336 errores, 23,7% de prevención, 0,79 de confianza). Fuente: zpankz/mcp-skillset.

Ver original