Valuta LLM su oltre 100 benchmark da oltre 18 cablaggi (MMLU, HumanEval, GSM8K, sicurezza, VLM) con esecuzione multi-backend. Da utilizzare quando è necessaria una valutazione scalabile su Docker locale, Slurm HPC o piattaforme cloud. La piattaforma di livello aziendale di NVIDIA con architettura container-first per benchmark riproducibili.
Installa rapidamente la skill AI nemo-evaluator-sdk nel tuo ambiente di sviluppo tramite riga di comando
Fonte: orchestra-research/ai-research-skills.
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
Run core academic benchmarks (MMLU, GSM8K, IFEval) on any OpenAI-compatible endpoint.
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | garak | 1 | Security probing | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
Valuta LLM su oltre 100 benchmark da oltre 18 cablaggi (MMLU, HumanEval, GSM8K, sicurezza, VLM) con esecuzione multi-backend. Da utilizzare quando è necessaria una valutazione scalabile su Docker locale, Slurm HPC o piattaforme cloud. La piattaforma di livello aziendale di NVIDIA con architettura container-first per benchmark riproducibili. Fonte: orchestra-research/ai-research-skills.
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdkBrowse more skills from orchestra-research/ai-research-skills
Valuta LLM su oltre 100 benchmark da oltre 18 cablaggi (MMLU, HumanEval, GSM8K, sicurezza, VLM) con esecuzione multi-backend. Da utilizzare quando è necessaria una valutazione scalabile su Docker locale, Slurm HPC o piattaforme cloud. La piattaforma di livello aziendale di NVIDIA con architettura container-first per benchmark riproducibili. Fonte: orchestra-research/ai-research-skills.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-evaluator-sdk Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/orchestra-research/ai-research-skills