pydantic-evals

Pydantic Evals provides rigorous testing and evaluation for AI agents and LLM outputs using a code-first approach with Pydantic models. It enables "Evaluation-Driven Development" (EDD) where evaluation suites live alongside application code, subject to version control and CI/CD.

Case A single test scenario with inputs, optional expected output, and metadata.

Dataset Collection of Cases with default evaluators. Generic over input/output types.

Testare e valutare gli agenti AI e gli output LLM utilizzando un framework di valutazione code-first con tipizzazione forte. Utilizzare quando l'utente desidera: (1) creare set di dati di valutazione con casi di test per agenti AI, (2) definire valutatori (deterministici, LLM-as-Judge, personalizzati o basati su span), (3) eseguire valutazioni e generare report, (4) confrontare le prestazioni del modello tra esperimenti, (5) integrare valutazioni con agenti AI Pydantic, (6) impostare l'osservabilità con Logfire, (7) generare set di dati di test utilizzando LLM, (8) implementare test di regressione per sistemi di intelligenza artificiale. Fonte: fuenfgeld/pydantic-ai-skills.