eval-audit

Inspect an LLM eval pipeline and produce a prioritized list of problems with concrete next steps.

Access to eval artifacts (traces, evaluator configs, judge prompts, labeled data) via an observability MCP server or local files. If none exist, skip to "No Eval Infrastructure."

Check whether the user has an observability MCP server connected (Phoenix, Braintrust, LangSmith, Truesight or similar). If available, use it to pull traces, evaluator definitions, and experiment results. If not, ask for local files: CSVs, JSON trace exports, notebooks, or evaluation scripts.

Controlla una pipeline di valutazione LLM e problemi superficiali: analisi degli errori mancanti, giudici non convalidati, metriche di vanità, ecc. Da utilizzare quando si eredita un sistema di valutazione, quando non si è sicuri che le valutazioni siano affidabili o come punto di partenza quando non esiste un'infrastruttura di valutazione. NON utilizzare quando l'obiettivo è creare un nuovo valutatore da zero (utilizzare invece l'analisi degli errori, il prompt del giudice di scrittura o il valutatore di convalida). Fonte: hamelsmu/evals-skills.