eval-audit

Inspect an LLM eval pipeline and produce a prioritized list of problems with concrete next steps.

Access to eval artifacts (traces, evaluator configs, judge prompts, labeled data) via an observability MCP server or local files. If none exist, skip to "No Eval Infrastructure."

Check whether the user has an observability MCP server connected (Phoenix, Braintrust, LangSmith, Truesight or similar). If available, use it to pull traces, evaluator definitions, and experiment results. If not, ask for local files: CSVs, JSON trace exports, notebooks, or evaluation scripts.

Prüfen Sie eine LLM-Evaluierungspipeline und decken Sie Probleme auf: fehlende Fehleranalyse, nicht validierte Beurteilungen, Vanity-Metriken usw. Verwenden Sie diese Option, wenn Sie ein Evaluierungssystem übernehmen, wenn Sie nicht sicher sind, ob Evaluierungen vertrauenswürdig sind, oder als Ausgangspunkt, wenn keine Evaluierungsinfrastruktur vorhanden ist. NICHT verwenden, wenn das Ziel darin besteht, einen neuen Evaluator von Grund auf zu erstellen (verwenden Sie stattdessen Fehleranalyse, Write-Judge-Prompt oder Validate-Evaluator). Quelle: hamelsmu/evals-skills.