promptfoo-evaluation

This skill provides guidance for configuring and running LLM evaluations using Promptfoo, an open-source CLI tool for testing and comparing LLM outputs.

Embed examples directly in prompt or use chat format with assistant messages:

Create a Python file for custom assertions (e.g., scripts/metrics.py):

Настраивает и запускает оценку LLM с использованием платформы Promptfoo. Используйте при настройке быстрого тестирования, создании конфигураций оценки (promptfooconfig.yaml), написании пользовательских утверждений Python, реализации llm-rubric для LLM-as-judge или управлении примерами с несколькими кадрами в подсказках. Запускается по таким ключевым словам, как «promptfoo», «eval», «оценка LLM», «быстрое тестирование» или «сравнение моделей». Источник: daymade/claude-code-skills.