nemo-evaluator-sdk
✓通过多后端执行，通过 18 多个工具（MMLU、HumanEval、GSM8K、安全、VLM）的 100 多个基准评估法学硕士。当需要在本地 Docker、Slurm HPC 或云平台上进行可扩展评估时使用。 NVIDIA 的企业级平台采用容器优先架构，可实现可重复的基准测试。
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
Run core academic benchmarks (MMLU, GSM8K, IFEval) on any OpenAI-compatible endpoint.
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | garak | 1 | Security probing | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
通过多后端执行，通过 18 多个工具（MMLU、HumanEval、GSM8K、安全、VLM）的 100 多个基准评估法学硕士。当需要在本地 Docker、Slurm HPC 或云平台上进行可扩展评估时使用。 NVIDIA 的企业级平台采用容器优先架构，可实现可重复的基准测试。 来源：orchestra-research/ai-research-skills。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-11
- 更新时间
- 2026-02-18
快速解答
什么是 nemo-evaluator-sdk？
通过多后端执行，通过 18 多个工具（MMLU、HumanEval、GSM8K、安全、VLM）的 100 多个基准评估法学硕士。当需要在本地 Docker、Slurm HPC 或云平台上进行可扩展评估时使用。 NVIDIA 的企业级平台采用容器优先架构，可实现可重复的基准测试。 来源：orchestra-research/ai-research-skills。
如何安装 nemo-evaluator-sdk？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/orchestra-research/ai-research-skills
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-11