什么是 validate-evaluator？
使用数据分割、TPR/TNR 和偏差校正根据人类标签校准 LLM 判断。当您需要在信任其输出之前验证对齐情况时，在编写判断提示（write-judge-prompt）后使用。不要用于基于代码的评估器（这些评估器是确定性的；使用标准单元测试进行测试）。 来源：hamelsmu/evals-skills。
·validate-evaluator
{}
validate-evaluator
✓使用数据分割、TPR/TNR 和偏差校正根据人类标签校准 LLM 判断。当您需要在信任其输出之前验证对齐情况时，在编写判断提示（write-judge-prompt）后使用。不要用于基于代码的评估器（这些评估器是确定性的；使用标准单元测试进行测试）。
如何安装 validate-evaluator
通过命令行快速安装 validate-evaluator AI 技能到你的开发环境
- 打开终端: 打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等）
- 运行安装命令: 复制并运行以下命令：npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator
- 验证安装: 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code、Cursor 或 OpenClaw 中使用
来源：hamelsmu/evals-skills。
SKILL.md
查看原文| Training | 10-20% (10-20 examples) | Source of few-shot examples for the judge prompt | Only clear-cut Pass and Fail cases. Used directly in the prompt. | | Dev | 40-45% (40-45 examples) | Iterative evaluator refinement | Never include in the prompt. Evaluate against repeatedly. |
| Test | 40-45% (40-45 examples) | Final unbiased accuracy measurement | Do NOT look at during development. Used once at the end. |
Target: 30-50 examples of each class (Pass and Fail) across dev and test combined. Use balanced splits even if real-world prevalence is skewed — you need enough Fail examples to measure TNR reliably.
使用数据分割、TPR/TNR 和偏差校正根据人类标签校准 LLM 判断。当您需要在信任其输出之前验证对齐情况时，在编写判断提示（write-judge-prompt）后使用。不要用于基于代码的评估器（这些评估器是确定性的；使用标准单元测试进行测试）。 来源：hamelsmu/evals-skills。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator- 分类
- {}数据分析
- 认证
- ✓
- 收录时间
- 2026-03-04
- 更新时间
- 2026-03-10
快速解答
如何安装 validate-evaluator？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code、Cursor 或 OpenClaw 中使用
这个 Skill 的源码在哪？
https://github.com/hamelsmu/evals-skills
详情
- 分类
- {}数据分析
- 来源
- skills.sh
- 收录时间
- 2026-03-04