retrospective validation

When you have 1,000 past errors, you don't need to wait for 1,000 future errors to prove your methodology works.

Result: Tool would have prevented 152 errors with 79% confidence.

| Time | Hours-days | Weeks-months | | Cost | Low (queries) | High (deployment) | | Risk | Zero | May introduce issues | | Confidence | 0.60-0.95 | 0.90-1.0 | | Data | Historical | New | | Scope | Full history | Limited window | | Bias | Hindsight | None |

Проверьте эффективность методологии, используя исторические данные, без развертывания в реальном времени. Используйте, когда существуют обширные исторические данные (более 100 экземпляров), методология нацелена на наблюдаемые шаблоны (предотвращение ошибок, стратегия тестирования, оптимизация производительности), сопоставление шаблонов возможно с четкими правилами обнаружения, а живое развертывание сопряжено с большими трудностями (усилия по интеграции CI/CD, время обучения пользователей, риск развертывания). Обеспечивает сокращение времени на 40–60 % по сравнению с перспективной проверкой и снижение затрат на 60–80 %. Модель расчета достоверности обеспечивает статистическую строгость. Проверено при восстановлении ошибок (1336 ошибок, предотвращение 23,7%, достоверность 0,79). Источник: zpankz/mcp-skillset.