nemo-evaluator-sdk
✓Bewertet LLMs anhand von mehr als 100 Benchmarks aus mehr als 18 Systemen (MMLU, HumanEval, GSM8K, Sicherheit, VLM) mit Multi-Backend-Ausführung. Verwenden Sie es, wenn Sie eine skalierbare Evaluierung auf lokalen Docker-, Slurm HPC- oder Cloud-Plattformen benötigen. NVIDIAs Plattform der Enterprise-Klasse mit Container-First-Architektur für reproduzierbares Benchmarking.
Installation
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
Run core academic benchmarks (MMLU, GSM8K, IFEval) on any OpenAI-compatible endpoint.
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | garak | 1 | Security probing | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
Bewertet LLMs anhand von mehr als 100 Benchmarks aus mehr als 18 Systemen (MMLU, HumanEval, GSM8K, Sicherheit, VLM) mit Multi-Backend-Ausführung. Verwenden Sie es, wenn Sie eine skalierbare Evaluierung auf lokalen Docker-, Slurm HPC- oder Cloud-Plattformen benötigen. NVIDIAs Plattform der Enterprise-Klasse mit Container-First-Architektur für reproduzierbares Benchmarking. Quelle: orchestra-research/ai-research-skills.
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-11
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist nemo-evaluator-sdk?
Bewertet LLMs anhand von mehr als 100 Benchmarks aus mehr als 18 Systemen (MMLU, HumanEval, GSM8K, Sicherheit, VLM) mit Multi-Backend-Ausführung. Verwenden Sie es, wenn Sie eine skalierbare Evaluierung auf lokalen Docker-, Slurm HPC- oder Cloud-Plattformen benötigen. NVIDIAs Plattform der Enterprise-Klasse mit Container-First-Architektur für reproduzierbares Benchmarking. Quelle: orchestra-research/ai-research-skills.
Wie installiere ich nemo-evaluator-sdk?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/orchestra-research/ai-research-skills
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-11