建置、驗證和部署 LLM-as-Judge 評估器，以對 LLM 管道輸出進行自動品質評估。每當使用者想要執行以下操作時，都可以使用此技能：為主觀或細微的故障模式建立自動評估器、為通過/失敗評估編寫判斷提示、分割標記資料以進行判斷開發、測量判斷一致性 (TPR/TNR)、透過偏差校正估計真實成功率或設定 CI 評估管道。當使用者提到「判斷提示」、「自動評估」、「LLM評估器」、「評分提示」、「對齊指標」、「真陽性率」或想要從手動追蹤審查轉向自動評估時也會觸發。此技能涵蓋了整個生命週期：提示設計→資料分割→迭代細化→成功率估計。
透過命令列快速安裝 llm-as-a-judge AI 技能到你的開發環境
來源：maragudk/evals-skills。
Build reliable automated evaluators that use an LLM to judge the outputs of another LLM pipeline. Each judge targets a single, binary (Pass/Fail) failure mode identified during error analysis.
Use code-based evaluators when the failure is objective and deterministic:
Each failure mode gets its own dedicated evaluator. Never combine multiple criteria into a single judge prompt—this introduces ambiguity and makes diagnosis harder.
建置、驗證和部署 LLM-as-Judge 評估器，以對 LLM 管道輸出進行自動品質評估。每當使用者想要執行以下操作時，都可以使用此技能：為主觀或細微的故障模式建立自動評估器、為通過/失敗評估編寫判斷提示、分割標記資料以進行判斷開發、測量判斷一致性 (TPR/TNR)、透過偏差校正估計真實成功率或設定 CI 評估管道。當使用者提到「判斷提示」、「自動評估」、「LLM評估器」、「評分提示」、「對齊指標」、「真陽性率」或想要從手動追蹤審查轉向自動評估時也會觸發。此技能涵蓋了整個生命週期：提示設計→資料分割→迭代細化→成功率估計。 來源：maragudk/evals-skills。
為搜尋與 AI 引用準備的穩定欄位與指令。
npx skills add https://github.com/maragudk/evals-skills --skill llm-as-a-judge建置、驗證和部署 LLM-as-Judge 評估器，以對 LLM 管道輸出進行自動品質評估。每當使用者想要執行以下操作時，都可以使用此技能：為主觀或細微的故障模式建立自動評估器、為通過/失敗評估編寫判斷提示、分割標記資料以進行判斷開發、測量判斷一致性 (TPR/TNR)、透過偏差校正估計真實成功率或設定 CI 評估管道。當使用者提到「判斷提示」、「自動評估」、「LLM評估器」、「評分提示」、「對齊指標」、「真陽性率」或想要從手動追蹤審查轉向自動評估時也會觸發。此技能涵蓋了整個生命週期：提示設計→資料分割→迭代細化→成功率估計。 來源：maragudk/evals-skills。
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/maragudk/evals-skills --skill llm-as-a-judge 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code、Cursor 或 OpenClaw 中使用
https://github.com/maragudk/evals-skills