nemo-evaluator-sdk
✓マルチバックエンド実行により、18 以上のハーネス (MMLU、HumanEval、GSM8K、安全性、VLM) からの 100 以上のベンチマークにわたって LLM を評価します。ローカルの Docker、Slurm HPC、またはクラウド プラットフォームでスケーラブルな評価が必要な場合に使用します。再現可能なベンチマークを実現するコンテナファースト アーキテクチャを備えた NVIDIA のエンタープライズ グレードのプラットフォーム。
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
Run core academic benchmarks (MMLU, GSM8K, IFEval) on any OpenAI-compatible endpoint.
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | garak | 1 | Security probing | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
マルチバックエンド実行により、18 以上のハーネス (MMLU、HumanEval、GSM8K、安全性、VLM) からの 100 以上のベンチマークにわたって LLM を評価します。ローカルの Docker、Slurm HPC、またはクラウド プラットフォームでスケーラブルな評価が必要な場合に使用します。再現可能なベンチマークを実現するコンテナファースト アーキテクチャを備えた NVIDIA のエンタープライズ グレードのプラットフォーム。 ソース: orchestra-research/ai-research-skills。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-11
- 更新日
- 2026-02-18
クイックアンサー
nemo-evaluator-sdk とは？
マルチバックエンド実行により、18 以上のハーネス (MMLU、HumanEval、GSM8K、安全性、VLM) からの 100 以上のベンチマークにわたって LLM を評価します。ローカルの Docker、Slurm HPC、またはクラウド プラットフォームでスケーラブルな評価が必要な場合に使用します。再現可能なベンチマークを実現するコンテナファースト アーキテクチャを備えた NVIDIA のエンタープライズ グレードのプラットフォーム。 ソース: orchestra-research/ai-research-skills。
nemo-evaluator-sdk のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/orchestra-research/ai-research-skills
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-11