failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

أنشئ تصنيفًا منظمًا لأنماط الفشل من خلال التعليقات التوضيحية للتتبع ذات الترميز المفتوح. استخدم هذه المهارة عندما يكون لدى المستخدم تعليقات توضيحية حرة من مراجعة آثار LLM ويريد تجميعها في مجموعة متماسكة وغير متداخلة من فئات الفشل الثنائي (الترميز المحوري). يُستخدم أيضًا عندما يذكر المستخدم "أوضاع الفشل"، أو "تصنيف الأخطاء"، أو "الترميز المحوري"، أو "التعليقات التوضيحية للمجموعة"، أو "تصنيف الأخطاء"، أو "تحليل الفشل"، أو يريد الانتقال من ملاحظات المراقبة الأولية إلى معايير التقييم المنظمة. تغطي هذه المهارة المسار الكامل: تجميع الرموز المفتوحة، وتحديد أوضاع الفشل، وإعادة تسمية الآثار، وتحديد معدلات الخطأ. المصدر: maragudk/evals-skills.