يُستخدم عند تقييم LLMs، أو تشغيل معايير مثل MMLU/HumanEval/GSM8K، أو إعداد مسارات التقييم، أو السؤال عن "NeMo Evaluator"، أو "قياس LLM"، أو "تقييم النموذج"، أو "MMLU"، أو "HumanEval"، أو "GSM8K"، أو "أدوات قياس الأداء"
ثبّت مهارة الذكاء الاصطناعي nemo-evaluator بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: eyadsibai/ltk.
NeMo Evaluator SDK evaluates LLMs across 100+ benchmarks from 18+ harnesses using containerized, reproducible evaluation with multi-backend execution (local Docker, Slurm HPC, Lepton cloud).
| lm-evaluation-harness | 60+ | MMLU, GSM8K, HellaSwag, ARC | | simple-evals | 20+ | GPQA, MATH, AIME | | bigcode-evaluation-harness | 25+ | HumanEval, MBPP, MultiPL-E | | safety-harness | 3 | Aegis, WildGuard | | vlmevalkit | 6+ | OCRBench, ChartQA, MMMU | | bfcl | 6 | Function calling v2/v3 |
| run | Execute evaluation with config | | status | Check job status | | ls tasks | List available benchmarks | | ls runs | List all invocations | | export | Export results (mlflow/wandb/local) | | kill | Terminate running job |
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluatorيُستخدم عند تقييم LLMs، أو تشغيل معايير مثل MMLU/HumanEval/GSM8K، أو إعداد مسارات التقييم، أو السؤال عن "NeMo Evaluator"، أو "قياس LLM"، أو "تقييم النموذج"، أو "MMLU"، أو "HumanEval"، أو "GSM8K"، أو "أدوات قياس الأداء" المصدر: eyadsibai/ltk.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/eyadsibai/ltk --skill nemo-evaluator بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/eyadsibai/ltk