eval-audit

Inspect an LLM eval pipeline and produce a prioritized list of problems with concrete next steps.

Access to eval artifacts (traces, evaluator configs, judge prompts, labeled data) via an observability MCP server or local files. If none exist, skip to "No Eval Infrastructure."

Check whether the user has an observability MCP server connected (Phoenix, Braintrust, LangSmith, Truesight or similar). If available, use it to pull traces, evaluator definitions, and experiment results. If not, ask for local files: CSVs, JSON trace exports, notebooks, or evaluation scripts.

Auditez un pipeline d'évaluation LLM et faites apparaître les problèmes : analyse des erreurs manquantes, juges non validés, mesures de vanité, etc. À utiliser lors de l'héritage d'un système d'évaluation, en cas de doute sur la fiabilité des évaluations ou comme point de départ lorsqu'aucune infrastructure d'évaluation n'existe. Ne pas utiliser lorsque l'objectif est de créer un nouvel évaluateur à partir de zéro (utilisez plutôt l'analyse des erreurs, l'invite de jugement d'écriture ou la validation de l'évaluateur). Source : hamelsmu/evals-skills.