trace-annotation-tool

Generate a custom local web application for open coding of LLM traces — the first qualitative pass of error analysis in the Analyze phase of the evaluation lifecycle.

fields represent the user query, intermediate steps, tool calls, and final output.

Ask the user: "These are the default features. Do you want anything else before I generate the tool?" Then incorporate any additional requests.

Genere una aplicación web de anotaciones de seguimiento personalizada para codificación abierta durante el análisis de errores de LLM. Úselo cuando el usuario quiera revisar los seguimientos de LLM, anotar fallas con comentarios de formato libre y realizar un etiquetado cualitativo de primer paso (codificación abierta). Utilícelo también cuando el usuario mencione "anotar seguimientos", "herramienta de revisión de seguimiento", "herramienta de codificación abierta", "etiquetar seguimientos", "crear una interfaz de anotación", "revisar resultados de LLM" o desee inspeccionar manualmente los seguimientos de la tubería antes de crear una taxonomía de fallas. Esta habilidad produce una aplicación web Python personalizada utilizando FastHTML, TailwindCSS y HTMX. Fuente: maragudk/evals-skills.