什麼是 validate-evaluator？
使用資料分割、TPR/TNR 和偏差校正根據人類標籤校準 LLM 判斷。當您需要在信任其輸出之前驗證對齊情況時，請在編寫判斷提示（write-judge-prompt）後使用。不要用於基於程式碼的評估器（這些評估器是確定性的；使用標準單元測試進行測試）。 來源：hamelsmu/evals-skills。
·validate-evaluator
{}
validate-evaluator
✓使用資料分割、TPR/TNR 和偏差校正根據人類標籤校準 LLM 判斷。當您需要在信任其輸出之前驗證對齊情況時，請在編寫判斷提示（write-judge-prompt）後使用。不要用於基於程式碼的評估器（這些評估器是確定性的；使用標準單元測試進行測試）。
如何安裝 validate-evaluator
透過命令列快速安裝 validate-evaluator AI 技能到你的開發環境
- 開啟終端機: 開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等）
- 執行安裝指令: 複製並執行以下指令：npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator
- 驗證安裝: 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code、Cursor 或 OpenClaw 中使用
來源：hamelsmu/evals-skills。
SKILL.md
查看原文| Training | 10-20% (10-20 examples) | Source of few-shot examples for the judge prompt | Only clear-cut Pass and Fail cases. Used directly in the prompt. | | Dev | 40-45% (40-45 examples) | Iterative evaluator refinement | Never include in the prompt. Evaluate against repeatedly. |
| Test | 40-45% (40-45 examples) | Final unbiased accuracy measurement | Do NOT look at during development. Used once at the end. |
Target: 30-50 examples of each class (Pass and Fail) across dev and test combined. Use balanced splits even if real-world prevalence is skewed — you need enough Fail examples to measure TNR reliably.
使用資料分割、TPR/TNR 和偏差校正根據人類標籤校準 LLM 判斷。當您需要在信任其輸出之前驗證對齊情況時，請在編寫判斷提示（write-judge-prompt）後使用。不要用於基於程式碼的評估器（這些評估器是確定性的；使用標準單元測試進行測試）。 來源：hamelsmu/evals-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator- 分類
- {}資料分析
- 認證
- ✓
- 收錄時間
- 2026-03-04
- 更新時間
- 2026-03-10
快速解答
如何安裝 validate-evaluator？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/hamelsmu/evals-skills --skill validate-evaluator 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code、Cursor 或 OpenClaw 中使用
這個 Skill 的原始碼在哪？
https://github.com/hamelsmu/evals-skills
詳情
- 分類
- {}資料分析
- 來源
- skills.sh
- 收錄時間
- 2026-03-04