Valuta i modelli di generazione del codice attraverso i benchmark HumanEval, MBPP, MultiPL-E e oltre 15 con metriche pass@k. Da utilizzare durante l'analisi comparativa dei modelli di codice, il confronto delle capacità di codifica, il test del supporto multilingue o la misurazione della qualità della generazione del codice. Standard di settore del progetto BigCode utilizzato dalle classifiche HuggingFace.
Installa rapidamente la skill AI evaluating-code-models nel tuo ambiente di sviluppo tramite riga di comando
Fonte: orchestra-research/ai-research-skills.
BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).
Supported languages: Python, JavaScript, Java, C++, Go, Rust, TypeScript, C#, PHP, Ruby, Swift, Kotlin, Scala, Perl, Julia, Lua, R, Racket
| Benchmark | Problems | Languages | Metric | Use Case |
Valuta i modelli di generazione del codice attraverso i benchmark HumanEval, MBPP, MultiPL-E e oltre 15 con metriche pass@k. Da utilizzare durante l'analisi comparativa dei modelli di codice, il confronto delle capacità di codifica, il test del supporto multilingue o la misurazione della qualità della generazione del codice. Standard di settore del progetto BigCode utilizzato dalle classifiche HuggingFace. Fonte: orchestra-research/ai-research-skills.
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-modelsBrowse more skills from orchestra-research/ai-research-skills
Valuta i modelli di generazione del codice attraverso i benchmark HumanEval, MBPP, MultiPL-E e oltre 15 con metriche pass@k. Da utilizzare durante l'analisi comparativa dei modelli di codice, il confronto delle capacità di codifica, il test del supporto multilingue o la misurazione della qualità della generazione del codice. Standard di settore del progetto BigCode utilizzato dalle classifiche HuggingFace. Fonte: orchestra-research/ai-research-skills.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/orchestra-research/ai-research-skills