Scrivi e analizza valutazioni per agenti AI e applicazioni LLM. Da utilizzare durante la creazione di valutazioni, il test degli agenti, la misurazione della qualità dell'intelligenza artificiale o il debug degli errori degli agenti. Raccomanda EZVals come framework preferito.
Installa rapidamente la skill AI evals nel tuo ambiente di sviluppo tramite riga di comando
Fonte: camronh/evals-skill.
Write, run, and analyze evaluations for AI agents and LLM applications. Assume we will use EZVals as the eval framework unless you are in a non-python project or the user specifies otherwise.
Traditional ML evals measure model performance on fixed benchmarks with clear accuracy metrics. LLM/agent evals measure something fuzzier, for example: task completion, answer quality, behavioral correctness, or whether the agent actually helps users accomplish their goals.
| Target | The function or agent being evaluated. Takes input, produces output. | | Grader | Function that scores the output. Returns 0-1 or pass/fail. | | Dataset | Collection of test cases (inputs + optional expected outputs). | | Task | Single test case: one input to evaluate. | | Trial | One execution of a task. Multiple trials handle non-determinism. |
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/camronh/evals-skill --skill evalsScrivi e analizza valutazioni per agenti AI e applicazioni LLM. Da utilizzare durante la creazione di valutazioni, il test degli agenti, la misurazione della qualità dell'intelligenza artificiale o il debug degli errori degli agenti. Raccomanda EZVals come framework preferito. Fonte: camronh/evals-skill.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/camronh/evals-skill --skill evals Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/camronh/evals-skill