evaluating-code-models
✓pass@k 지표를 사용하여 HumanEval, MBPP, MultiPL-E 및 15개 이상의 벤치마크에서 코드 생성 모델을 평가합니다. 코드 모델 벤치마킹, 코딩 능력 비교, 다국어 지원 테스트 또는 코드 생성 품질 측정 시 사용합니다. HuggingFace 순위표에서 사용되는 BigCode 프로젝트의 업계 표준입니다.
SKILL.md
BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).
Supported languages: Python, JavaScript, Java, C++, Go, Rust, TypeScript, C#, PHP, Ruby, Swift, Kotlin, Scala, Perl, Julia, Lua, R, Racket
| Benchmark | Problems | Languages | Metric | Use Case |
pass@k 지표를 사용하여 HumanEval, MBPP, MultiPL-E 및 15개 이상의 벤치마크에서 코드 생성 모델을 평가합니다. 코드 모델 벤치마킹, 코딩 능력 비교, 다국어 지원 테스트 또는 코드 생성 품질 측정 시 사용합니다. HuggingFace 순위표에서 사용되는 BigCode 프로젝트의 업계 표준입니다. 출처: orchestra-research/ai-research-skills.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-11
- 업데이트
- 2026-02-18
빠른 답변
evaluating-code-models이란?
pass@k 지표를 사용하여 HumanEval, MBPP, MultiPL-E 및 15개 이상의 벤치마크에서 코드 생성 모델을 평가합니다. 코드 모델 벤치마킹, 코딩 능력 비교, 다국어 지원 테스트 또는 코드 생성 품질 측정 시 사용합니다. HuggingFace 순위표에서 사용되는 BigCode 프로젝트의 업계 표준입니다. 출처: orchestra-research/ai-research-skills.
evaluating-code-models 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/orchestra-research/ai-research-skills
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-11