Напишите и проанализируйте оценки для агентов искусственного интеллекта и приложений LLM. Используйте при создании оценок, агентов тестирования, измерении качества ИИ или отладке сбоев агентов. Рекомендует EZVals в качестве предпочтительной платформы.
Быстро установите AI-навык evals в вашу среду разработки через командную строку
Источник: camronh/evals-skill.
Write, run, and analyze evaluations for AI agents and LLM applications. Assume we will use EZVals as the eval framework unless you are in a non-python project or the user specifies otherwise.
Traditional ML evals measure model performance on fixed benchmarks with clear accuracy metrics. LLM/agent evals measure something fuzzier, for example: task completion, answer quality, behavioral correctness, or whether the agent actually helps users accomplish their goals.
| Target | The function or agent being evaluated. Takes input, produces output. | | Grader | Function that scores the output. Returns 0-1 or pass/fail. | | Dataset | Collection of test cases (inputs + optional expected outputs). | | Task | Single test case: one input to evaluate. | | Trial | One execution of a task. Multiple trials handle non-determinism. |
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/camronh/evals-skill --skill evalsНапишите и проанализируйте оценки для агентов искусственного интеллекта и приложений LLM. Используйте при создании оценок, агентов тестирования, измерении качества ИИ или отладке сбоев агентов. Рекомендует EZVals в качестве предпочтительной платформы. Источник: camronh/evals-skill.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/camronh/evals-skill --skill evals После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/camronh/evals-skill