promptfoo-evaluation

This skill provides guidance for configuring and running LLM evaluations using Promptfoo, an open-source CLI tool for testing and comparing LLM outputs.

Embed examples directly in prompt or use chat format with assistant messages:

Create a Python file for custom assertions (e.g., scripts/metrics.py):

Configura ed esegue la valutazione LLM utilizzando il framework Promptfoo. Da utilizzare durante l'impostazione dei test dei prompt, la creazione di configurazioni di valutazione (promptfooconfig.yaml), la scrittura di asserzioni personalizzate Python, l'implementazione di llm-rubric per LLM-as-judge o la gestione di esempi di poche riprese nei prompt. Si attiva su parole chiave come "promptfoo", "eval", "valutazione LLM", "test rapido" o "confronto modelli". Fonte: daymade/claude-code-skills.