nemo-evaluator
✓À utiliser lors de l'évaluation des LLM, de l'exécution de benchmarks tels que MMLU/HumanEval/GSM8K, de la configuration de pipelines d'évaluation ou de questions sur « NeMo Evaluator », « Benchmarking LLM », « évaluation de modèle », « MMLU », « HumanEval », « GSM8K », « harnais de référence ».
Installation
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
| run | Execute evaluation with config | | status | Check job status | | ls tasks | List available benchmarks | | ls runs | List all invocations | | export | Export results (mlflow/wandb/local) | | kill | Terminate running job |
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator- Source
- eyadsibai/ltk
- Catégorie
- </>Développement
- Vérifié
- ✓
- Première apparition
- 2026-02-17
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que nemo-evaluator ?
À utiliser lors de l'évaluation des LLM, de l'exécution de benchmarks tels que MMLU/HumanEval/GSM8K, de la configuration de pipelines d'évaluation ou de questions sur « NeMo Evaluator », « Benchmarking LLM », « évaluation de modèle », « MMLU », « HumanEval », « GSM8K », « harnais de référence ». Source : eyadsibai/ltk.
Comment installer nemo-evaluator ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/eyadsibai/ltk
Détails
- Catégorie
- </>Développement
- Source
- skills.sh
- Première apparition
- 2026-02-17