nemo-evaluator
✓Verwenden Sie diese Option, wenn Sie LLMs evaluieren, Benchmarks wie MMLU/HumanEval/GSM8K ausführen, Evaluierungspipelines einrichten oder Fragen zu „NeMo Evaluator“, „LLM Benchmarking“, „Model Evaluation“, „MMLU“, „HumanEval“, „GSM8K“ und „Benchmark Harnesses“ stellen.
Installation
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
| run | Execute evaluation with config | | status | Check job status | | ls tasks | List available benchmarks | | ls runs | List all invocations | | export | Export results (mlflow/wandb/local) | | kill | Terminate running job |
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator- Quelle
- eyadsibai/ltk
- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-17
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist nemo-evaluator?
Verwenden Sie diese Option, wenn Sie LLMs evaluieren, Benchmarks wie MMLU/HumanEval/GSM8K ausführen, Evaluierungspipelines einrichten oder Fragen zu „NeMo Evaluator“, „LLM Benchmarking“, „Model Evaluation“, „MMLU“, „HumanEval“, „GSM8K“ und „Benchmark Harnesses“ stellen. Quelle: eyadsibai/ltk.
Wie installiere ich nemo-evaluator?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/eyadsibai/ltk
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-17