evaluating-code-models
✓使用 pass@k 指標跨 HumanEval、MBPP、MultiPL-E 和 15+ 基準評估程式碼產生模型。在對程式碼模型進行基準測試、比較編碼能力、測試多語言支援或測量程式碼產生品質時使用。 HuggingFace 排行榜使用的 BigCode 專案的業界標準。
SKILL.md
BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).
Supported languages: Python, JavaScript, Java, C++, Go, Rust, TypeScript, C#, PHP, Ruby, Swift, Kotlin, Scala, Perl, Julia, Lua, R, Racket
| Benchmark | Problems | Languages | Metric | Use Case |
使用 pass@k 指標跨 HumanEval、MBPP、MultiPL-E 和 15+ 基準評估程式碼產生模型。在對程式碼模型進行基準測試、比較編碼能力、測試多語言支援或測量程式碼產生品質時使用。 HuggingFace 排行榜使用的 BigCode 專案的業界標準。 來源：orchestra-research/ai-research-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-11
- 更新時間
- 2026-02-18
快速解答
什麼是 evaluating-code-models？
使用 pass@k 指標跨 HumanEval、MBPP、MultiPL-E 和 15+ 基準評估程式碼產生模型。在對程式碼模型進行基準測試、比較編碼能力、測試多語言支援或測量程式碼產生品質時使用。 HuggingFace 排行榜使用的 BigCode 專案的業界標準。 來源：orchestra-research/ai-research-skills。
如何安裝 evaluating-code-models？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/orchestra-research/ai-research-skills
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-11