يقوم بتقييم نماذج إنشاء التعليمات البرمجية عبر HumanEval وMBPP وMultiPL-E وأكثر من 15 معيارًا باستخدام مقاييس pass@k. يُستخدم عند قياس نماذج التعليمات البرمجية، أو مقارنة قدرات البرمجة، أو اختبار الدعم متعدد اللغات، أو قياس جودة إنشاء التعليمات البرمجية. معيار الصناعة من مشروع BigCode الذي تستخدمه لوحات المتصدرين HuggingFace.
ثبّت مهارة الذكاء الاصطناعي evaluating-code-models بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: orchestra-research/ai-research-skills.
BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).
Supported languages: Python, JavaScript, Java, C++, Go, Rust, TypeScript, C#, PHP, Ruby, Swift, Kotlin, Scala, Perl, Julia, Lua, R, Racket
| Benchmark | Problems | Languages | Metric | Use Case |
يقوم بتقييم نماذج إنشاء التعليمات البرمجية عبر HumanEval وMBPP وMultiPL-E وأكثر من 15 معيارًا باستخدام مقاييس pass@k. يُستخدم عند قياس نماذج التعليمات البرمجية، أو مقارنة قدرات البرمجة، أو اختبار الدعم متعدد اللغات، أو قياس جودة إنشاء التعليمات البرمجية. معيار الصناعة من مشروع BigCode الذي تستخدمه لوحات المتصدرين HuggingFace. المصدر: orchestra-research/ai-research-skills.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-modelsBrowse more skills from orchestra-research/ai-research-skills
يقوم بتقييم نماذج إنشاء التعليمات البرمجية عبر HumanEval وMBPP وMultiPL-E وأكثر من 15 معيارًا باستخدام مقاييس pass@k. يُستخدم عند قياس نماذج التعليمات البرمجية، أو مقارنة قدرات البرمجة، أو اختبار الدعم متعدد اللغات، أو قياس جودة إنشاء التعليمات البرمجية. معيار الصناعة من مشروع BigCode الذي تستخدمه لوحات المتصدرين HuggingFace. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/orchestra-research/ai-research-skills