Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.
The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").
Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.
오픈 코딩된 추적 주석을 통해 구조화된 실패 모드 분류를 구축합니다. 사용자가 LLM 추적을 검토하여 자유 형식 주석을 갖고 이를 일관성 있고 겹치지 않는 이진 오류 범주 세트(축 코딩)로 클러스터링하려는 경우마다 이 기술을 사용하십시오. 또한 사용자가 "고장 모드", "오류 분류", "축 코딩", "클러스터 주석", "오류 분류", "고장 분석"을 언급하거나 원시 관찰 메모에서 구조화된 평가 기준으로 이동하려는 경우에도 사용합니다. 이 기술은 공개 코드 그룹화, 실패 모드 정의, 추적 레이블 다시 지정, 오류율 정량화 등 전체 파이프라인을 다룹니다. 출처: maragudk/evals-skills.