evaluating-code-models
✓Évalue les modèles de génération de code sur HumanEval, MBPP, MultiPL-E et plus de 15 benchmarks avec les métriques pass@k. À utiliser pour évaluer des modèles de code, comparer les capacités de codage, tester la prise en charge multilingue ou mesurer la qualité de la génération de code. Norme industrielle du projet BigCode utilisée par les classements HuggingFace.
Installation
SKILL.md
BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).
Supported languages: Python, JavaScript, Java, C++, Go, Rust, TypeScript, C#, PHP, Ruby, Swift, Kotlin, Scala, Perl, Julia, Lua, R, Racket
| Benchmark | Problems | Languages | Metric | Use Case |
Évalue les modèles de génération de code sur HumanEval, MBPP, MultiPL-E et plus de 15 benchmarks avec les métriques pass@k. À utiliser pour évaluer des modèles de code, comparer les capacités de codage, tester la prise en charge multilingue ou mesurer la qualité de la génération de code. Norme industrielle du projet BigCode utilisée par les classements HuggingFace. Source : orchestra-research/ai-research-skills.
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models- Catégorie
- </>Développement
- Vérifié
- ✓
- Première apparition
- 2026-02-11
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que evaluating-code-models ?
Évalue les modèles de génération de code sur HumanEval, MBPP, MultiPL-E et plus de 15 benchmarks avec les métriques pass@k. À utiliser pour évaluer des modèles de code, comparer les capacités de codage, tester la prise en charge multilingue ou mesurer la qualité de la génération de code. Norme industrielle du projet BigCode utilisée par les classements HuggingFace. Source : orchestra-research/ai-research-skills.
Comment installer evaluating-code-models ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/orchestra-research/ai-research-skills
Détails
- Catégorie
- </>Développement
- Source
- skills.sh
- Première apparition
- 2026-02-11