nemo-evaluator
✓Úselo al evaluar LLM, ejecutar pruebas comparativas como MMLU/HumanEval/GSM8K, configurar canales de evaluación o preguntar sobre "NeMo Evaluator", "LLM benchmarking", "evaluación de modelos", "MMLU", "HumanEval", "GSM8K", "arneses de referencia"
Instalación
SKILL.md
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
| run | Execute evaluation with config | | status | Check job status | | ls tasks | List available benchmarks | | ls runs | List all invocations | | export | Export results (mlflow/wandb/local) | | kill | Terminate running job |
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator- Fuente
- eyadsibai/ltk
- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-17
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es nemo-evaluator?
Úselo al evaluar LLM, ejecutar pruebas comparativas como MMLU/HumanEval/GSM8K, configurar canales de evaluación o preguntar sobre "NeMo Evaluator", "LLM benchmarking", "evaluación de modelos", "MMLU", "HumanEval", "GSM8K", "arneses de referencia" Fuente: eyadsibai/ltk.
¿Cómo instalo nemo-evaluator?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/eyadsibai/ltk
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-17