Статистическое и качественное обнаружение дрейфа для приложений LLM. Используйте при мониторинге ухудшения качества модели, сдвигов входного распределения или изменений выходной структуры с течением времени.
Быстро установите AI-навык drift-detection в вашу среду разработки через командную строку
Источник: yonatangross/orchestkit.
Monitor LLM quality degradation and input/output distribution shifts in production.
| Statistical method | PSI for production (stable), KS for small samples | | Threshold strategy | Dynamic (95th percentile of historical) over static | | Baseline window | 7-30 days rolling window | | Alert priority | Performance metrics > distribution metrics | | Tool stack | Langfuse (traces) + Evidently/Phoenix (drift analysis) |
| < 0.1 | No significant drift | Monitor | | 0.1 - 0.25 | Moderate drift | Investigate | | >= 0.25 | Significant drift | Alert + Action |
Статистическое и качественное обнаружение дрейфа для приложений LLM. Используйте при мониторинге ухудшения качества модели, сдвигов входного распределения или изменений выходной структуры с течением времени. Источник: yonatangross/orchestkit.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/yonatangross/orchestkit --skill drift-detectionСтатистическое и качественное обнаружение дрейфа для приложений LLM. Используйте при мониторинге ухудшения качества модели, сдвигов входного распределения или изменений выходной структуры с течением времени. Источник: yonatangross/orchestkit.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/yonatangross/orchestkit --skill drift-detection После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/yonatangross/orchestkit