pydantic-evals

Pydantic Evals provides rigorous testing and evaluation for AI agents and LLM outputs using a code-first approach with Pydantic models. It enables "Evaluation-Driven Development" (EDD) where evaluation suites live alongside application code, subject to version control and CI/CD.

Case A single test scenario with inputs, optional expected output, and metadata.

Dataset Collection of Cases with default evaluators. Generic over input/output types.

Pruebe y evalúe agentes de IA y resultados de LLM utilizando un marco de evaluación de código primero con tipificación segura. Úselo cuando el usuario desee: (1) crear conjuntos de datos de evaluación con casos de prueba para agentes de IA, (2) definir evaluadores (deterministas, LLM como juez, personalizados o basados en intervalos), (3) ejecutar evaluaciones y generar informes, (4) comparar el rendimiento del modelo entre experimentos, (5) integrar evaluaciones con agentes de IA de Pydantic, (6) configurar la observabilidad con Logfire, (7) generar conjuntos de datos de prueba utilizando LLM, (8) implementar pruebas de regresión para sistemas de IA. Fuente: fuenfgeld/pydantic-ai-skills.