什么是 eval-audit?
审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。 来源:hamelsmu/evals-skills。
审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。
通过命令行快速安装 eval-audit AI 技能到你的开发环境
来源:hamelsmu/evals-skills。
Inspect an LLM eval pipeline and produce a prioritized list of problems with concrete next steps.
Access to eval artifacts (traces, evaluator configs, judge prompts, labeled data) via an observability MCP server or local files. If none exist, skip to "No Eval Infrastructure."
Check whether the user has an observability MCP server connected (Phoenix, Braintrust, LangSmith, Truesight or similar). If available, use it to pull traces, evaluator definitions, and experiment results. If not, ask for local files: CSVs, JSON trace exports, notebooks, or evaluation scripts.
审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。 来源:hamelsmu/evals-skills。
为搜索与 AI 引用准备的稳定字段与命令。
npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。 来源:hamelsmu/evals-skills。
打开你的终端或命令行工具(如 Terminal、iTerm、Windows Terminal 等) 复制并运行以下命令:npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit 安装完成后,技能将自动配置到你的 AI 编程环境中,可以在 Claude Code、Cursor 或 OpenClaw 中使用
https://github.com/hamelsmu/evals-skills