promptfoo-evaluation

SKILL.md

This skill provides guidance for configuring and running LLM evaluations using Promptfoo, an open-source CLI tool for testing and comparing LLM outputs.

Embed examples directly in prompt or use chat format with assistant messages:

Create a Python file for custom assertions (e.g., scripts/metrics.py):

Configure et exécute l'évaluation LLM à l'aide du framework Promptfoo. À utiliser lors de la configuration de tests d'invite, de la création de configurations d'évaluation (promptfooconfig.yaml), de l'écriture d'assertions personnalisées Python, de l'implémentation de la rubrique llm pour LLM-as-judge ou de la gestion de quelques exemples dans les invites. Se déclenche sur des mots-clés tels que "promptfoo", "eval", "évaluation LLM", "test rapide" ou "comparaison de modèles". Source : daymade/claude-code-skills.

Voir l'original