trace-annotation-tool

Generate a custom local web application for open coding of LLM traces — the first qualitative pass of error analysis in the Analyze phase of the evaluation lifecycle.

fields represent the user query, intermediate steps, tool calls, and final output.

Ask the user: "These are the default features. Do you want anything else before I generate the tool?" Then incorporate any additional requests.

Generieren Sie eine benutzerdefinierte Trace-Annotation-Web-App für offene Codierung während der LLM-Fehleranalyse. Verwenden Sie diese Option, wenn der Benutzer LLM-Ablaufverfolgungen überprüfen, Fehler mit Freiformkommentaren kommentieren und eine qualitative Erstbeschriftung (offene Codierung) durchführen möchte. Verwenden Sie dies auch, wenn der Benutzer „Traces kommentieren“, „Tool zur Trace-Überprüfung“, „Coding-Tool öffnen“, „Traces kennzeichnen“, „Annotationsschnittstelle erstellen“, „LLM-Ausgaben überprüfen“ erwähnt oder Pipeline-Traces vor dem Erstellen einer Fehlertaxonomie manuell überprüfen möchte. Diese Fähigkeit erstellt eine maßgeschneiderte Python-Webanwendung mit FastHTML, TailwindCSS und HTMX. Quelle: maragudk/evals-skills.