Оценивает модели генерации кода в тестах HumanEval, MBPP, MultiPL-E и более чем 15 тестах с помощью метрик pass@k. Используйте при тестировании моделей кода, сравнении возможностей кодирования, тестировании поддержки нескольких языков или измерении качества генерации кода. Отраслевой стандарт проекта BigCode, используемый в таблицах лидеров HuggingFace.
Быстро установите AI-навык evaluating-code-models в вашу среду разработки через командную строку
Источник: orchestra-research/ai-research-skills.
BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).
Supported languages: Python, JavaScript, Java, C++, Go, Rust, TypeScript, C#, PHP, Ruby, Swift, Kotlin, Scala, Perl, Julia, Lua, R, Racket
| Benchmark | Problems | Languages | Metric | Use Case |
Оценивает модели генерации кода в тестах HumanEval, MBPP, MultiPL-E и более чем 15 тестах с помощью метрик pass@k. Используйте при тестировании моделей кода, сравнении возможностей кодирования, тестировании поддержки нескольких языков или измерении качества генерации кода. Отраслевой стандарт проекта BigCode, используемый в таблицах лидеров HuggingFace. Источник: orchestra-research/ai-research-skills.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-modelsBrowse more skills from orchestra-research/ai-research-skills
Оценивает модели генерации кода в тестах HumanEval, MBPP, MultiPL-E и более чем 15 тестах с помощью метрик pass@k. Используйте при тестировании моделей кода, сравнении возможностей кодирования, тестировании поддержки нескольких языков или измерении качества генерации кода. Отраслевой стандарт проекта BigCode, используемый в таблицах лидеров HuggingFace. Источник: orchestra-research/ai-research-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill evaluating-code-models После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/orchestra-research/ai-research-skills