llm-evaluation

Test prompts, models, and RAG systems with automated evaluation and CI/CD integration.

LLM outputs are non-deterministic. "It looks good" isn't testing. You need:

| Functional | Does it work? | contains, equals, is-json | | Semantic | Is it correct? | similar, llm-rubric, factuality | | Performance | Is it fast/cheap? | cost, latency | | Security | Is it safe? | redteam, moderation, pii-detection |

LLM richiede test, valutazione e controlli di qualità CI/CD utilizzando Promptfoo. Invocare quando: - Impostazione di una valutazione tempestiva o di test di regressione - Integrazione dei test LLM nelle pipeline CI/CD - Configurazione dei test di sicurezza (red teaming, jailbreak) - Confronto delle prestazioni del prompt o del modello - Creazione di suite di valutazione per RAG, fattualità o sicurezza Parole chiave: promptfoo, valutazione llm, test tempestivo, team rosso, CI/CD, test di regressione Fonte: phrazzld/claude-config.