·eval-audit
{}

eval-audit

审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。

81安装·3热度·@hamelsmu

安装

$npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit

如何安装 eval-audit

通过命令行快速安装 eval-audit AI 技能到你的开发环境

  1. 打开终端: 打开你的终端或命令行工具(如 Terminal、iTerm、Windows Terminal 等)
  2. 运行安装命令: 复制并运行以下命令:npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit
  3. 验证安装: 安装完成后,技能将自动配置到你的 AI 编程环境中,可以在 Claude Code、Cursor 或 OpenClaw 中使用

来源:hamelsmu/evals-skills。

SKILL.md

查看原文

Inspect an LLM eval pipeline and produce a prioritized list of problems with concrete next steps.

Access to eval artifacts (traces, evaluator configs, judge prompts, labeled data) via an observability MCP server or local files. If none exist, skip to "No Eval Infrastructure."

Check whether the user has an observability MCP server connected (Phoenix, Braintrust, LangSmith, Truesight or similar). If available, use it to pull traces, evaluator definitions, and experiment results. If not, ask for local files: CSVs, JSON trace exports, notebooks, or evaluation scripts.

审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。 来源:hamelsmu/evals-skills。

可引用信息

为搜索与 AI 引用准备的稳定字段与命令。

安装命令
npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit
分类
{}数据分析
认证
收录时间
2026-03-04
更新时间
2026-03-10

Browse more skills from hamelsmu/evals-skills

快速解答

什么是 eval-audit?

审核 LLM 评估流程并发现问题:缺少错误分析、未经验证的判断、虚荣指标等。在继承评估系统、不确定评估是否值得信赖时使用,或者在不存在评估基础设施时作为起点。当目标是从头开始构建新的评估器时,请勿使用(请改用错误分析、写入判断提示或验证评估器)。 来源:hamelsmu/evals-skills。

如何安装 eval-audit?

打开你的终端或命令行工具(如 Terminal、iTerm、Windows Terminal 等) 复制并运行以下命令:npx skills add https://github.com/hamelsmu/evals-skills --skill eval-audit 安装完成后,技能将自动配置到你的 AI 编程环境中,可以在 Claude Code、Cursor 或 OpenClaw 中使用

这个 Skill 的源码在哪?

https://github.com/hamelsmu/evals-skills