failure-taxonomy

Transform raw, freeform trace annotations from open coding sessions into a structured taxonomy of binary failure modes, following the grounded theory methodology from the Analyze-Measure-Improve evaluation lifecycle.

The user has already completed open coding — they've read through LLM pipeline traces and written short, freeform notes describing what went wrong (the "point of first failure").

Now they need to move from that chaotic pile of observations into an organized, actionable taxonomy. This is the axial coding step.

Создайте структурированную таксономию режимов отказов на основе аннотаций трассировки с открытым кодом. Используйте этот навык всякий раз, когда у пользователя есть аннотации произвольной формы, полученные при просмотре трасс LLM, и он хочет сгруппировать их в последовательный, непересекающийся набор двоичных категорий отказов (осевое кодирование). Также используйте, когда пользователь упоминает «режимы отказов», «таксономию ошибок», «осевое кодирование», «кластерные аннотации», «классификацию ошибок», «анализ отказов» или хочет перейти от необработанных записей наблюдений к структурированным критериям оценки. Этот навык охватывает весь конвейер: группировку открытых кодов, определение режимов сбоев, перемаркировку трассировок и количественную оценку частоты ошибок. Источник: maragudk/evals-skills.