nemo-evaluator-sdk
✓透過多後端執行，透過 18 多個工具（MMLU、HumanEval、GSM8K、安全性、VLM）的 100 多個基準評估法學碩士。當需要在本地 Docker、Slurm HPC 或雲端平台上進行可擴展評估時使用。 NVIDIA 的企業級平台採用容器優先架構，可實現可重複的基準測試。
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
Run core academic benchmarks (MMLU, GSM8K, IFEval) on any OpenAI-compatible endpoint.
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | garak | 1 | Security probing | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
透過多後端執行，透過 18 多個工具（MMLU、HumanEval、GSM8K、安全性、VLM）的 100 多個基準評估法學碩士。當需要在本地 Docker、Slurm HPC 或雲端平台上進行可擴展評估時使用。 NVIDIA 的企業級平台採用容器優先架構，可實現可重複的基準測試。 來源：orchestra-research/ai-research-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-11
- 更新時間
- 2026-02-18
快速解答
什麼是 nemo-evaluator-sdk？
透過多後端執行，透過 18 多個工具（MMLU、HumanEval、GSM8K、安全性、VLM）的 100 多個基準評估法學碩士。當需要在本地 Docker、Slurm HPC 或雲端平台上進行可擴展評估時使用。 NVIDIA 的企業級平台採用容器優先架構，可實現可重複的基準測試。 來源：orchestra-research/ai-research-skills。
如何安裝 nemo-evaluator-sdk？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/orchestra-research/ai-research-skills
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-11