trace-annotation-tool

Generate a custom local web application for open coding of LLM traces — the first qualitative pass of error analysis in the Analyze phase of the evaluation lifecycle.

fields represent the user query, intermediate steps, tool calls, and final output.

Ask the user: "These are the default features. Do you want anything else before I generate the tool?" Then incorporate any additional requests.

Создайте собственное веб-приложение с аннотациями трассировки для открытого кодирования во время анализа ошибок LLM. Используйте, когда пользователь хочет просмотреть трассировки LLM, аннотировать ошибки комментариями произвольной формы и выполнить качественную маркировку первого прохода (открытое кодирование). Также используйте, когда пользователь упоминает «аннотирование трассировок», «инструмент проверки трассировки», «инструмент открытого кодирования», «метки трассировок», «создание интерфейса аннотаций», «просмотр выходных данных LLM» или хочет вручную проверить трассировки конвейера перед построением таксономии сбоев. Благодаря этому навыку создается индивидуальное веб-приложение Python с использованием FastHTML, TailwindCSS и HTMX. Источник: maragudk/evals-skills.