llm-evaluation

Test prompts, models, and RAG systems with automated evaluation and CI/CD integration.

LLM outputs are non-deterministic. "It looks good" isn't testing. You need:

| Functional | Does it work? | contains, equals, is-json | | Semantic | Is it correct? | similar, llm-rubric, factuality | | Performance | Is it fast/cheap? | cost, latency | | Security | Is it safe? | redteam, moderation, pii-detection |

Быстрое тестирование, оценка LLM и контроль качества CI/CD с использованием Promptfoo. Вызов когда: - Настройка оперативной оценки или регрессионного тестирования. - Интеграция LLM-тестирования в конвейеры CI/CD. - Настройка тестирования безопасности (красная команда, джейлбрейки) - Сравнение производительности подсказки или модели - Создание пакетов оценки для RAG, фактов или безопасности. Ключевые слова: Promptfoo, оценка llm, оперативное тестирование, красная команда, CI/CD, регрессионное тестирование. Источник: phrazzld/claude-config.