promptfoo-evaluation

SKILL.md

This skill provides guidance for configuring and running LLM evaluations using Promptfoo, an open-source CLI tool for testing and comparing LLM outputs.

Embed examples directly in prompt or use chat format with assistant messages:

Create a Python file for custom assertions (e.g., scripts/metrics.py):

Promptfoo フレームワークを使用して LLM 評価を構成および実行します。プロンプト テストの設定、評価構成 (promptfooconfig.yaml) の作成、Python カスタム アサーションの作成、LLM-as-judge の llm-rubric の実装、またはプロンプトでの少数ショットのサンプルの管理を行う場合に使用します。 「promptfoo」、「eval」、「LLM 評価」、「プロンプト テスト」、「モデル比較」などのキーワードでトリガーされます。 ソース: daymade/claude-code-skills。

原文を見る