trace-annotation-tool

Generate a custom local web application for open coding of LLM traces — the first qualitative pass of error analysis in the Analyze phase of the evaluation lifecycle.

fields represent the user query, intermediate steps, tool calls, and final output.

Ask the user: "These are the default features. Do you want anything else before I generate the tool?" Then incorporate any additional requests.

Générez une application Web d'annotation de trace personnalisée pour le codage ouvert lors de l'analyse des erreurs LLM. À utiliser lorsque l'utilisateur souhaite examiner les traces LLM, annoter les échecs avec des commentaires de forme libre et effectuer un étiquetage qualitatif de premier passage (codage ouvert). À utiliser également lorsque l'utilisateur mentionne « annoter les traces », « l'outil de révision des traces », « l'outil de codage ouvert », « les traces d'étiquettes », « créer une interface d'annotation », « examiner les sorties LLM » ou souhaite inspecter manuellement les traces du pipeline avant de créer une taxonomie d'échec. Cette compétence produit une application Web Python sur mesure utilisant FastHTML, TailwindCSS et HTMX. Source : maragudk/evals-skills.