promptfoo-evaluation

SKILL.md

This skill provides guidance for configuring and running LLM evaluations using Promptfoo, an open-source CLI tool for testing and comparing LLM outputs.

Embed examples directly in prompt or use chat format with assistant messages:

Create a Python file for custom assertions (e.g., scripts/metrics.py):

Promptfoo 프레임워크를 사용하여 LLM 평가를 구성하고 실행합니다. 프롬프트 테스트를 설정하고, 평가 구성(promptfooconfig.yaml)을 생성하고, Python 사용자 정의 어설션을 작성하고, LLM-as-judge를 위한 llm-rubric을 구현하거나 프롬프트에서 몇 번의 샷 예제를 관리할 때 사용합니다. "promptfoo", "eval", "LLM 평가", "프롬프트 테스트" 또는 "모델 비교"와 같은 키워드에 대해 트리거됩니다. 출처: daymade/claude-code-skills.

원본 보기