trace-annotation-tool

Generate a custom local web application for open coding of LLM traces — the first qualitative pass of error analysis in the Analyze phase of the evaluation lifecycle.

fields represent the user query, intermediate steps, tool calls, and final output.

Ask the user: "These are the default features. Do you want anything else before I generate the tool?" Then incorporate any additional requests.

Genera un'app Web di annotazione di traccia personalizzata per la codifica aperta durante l'analisi degli errori LLM. Da utilizzare quando l'utente desidera rivedere le tracce LLM, annotare gli errori con commenti in formato libero ed eseguire l'etichettatura qualitativa di primo passaggio (codifica aperta). Da utilizzare anche quando l'utente menziona "annota tracce", "strumento di revisione delle tracce", "strumento di codifica aperto", "etichetta tracce", "crea un'interfaccia di annotazione", "esamina gli output LLM" o desidera ispezionare manualmente le tracce della pipeline prima di creare una tassonomia degli errori. Questa competenza produce un'applicazione Web Python su misura utilizzando FastHTML, TailwindCSS e HTMX. Fonte: maragudk/evals-skills.