使用具有强类型功能的代码优先评估框架来测试和评估 AI 代理和 LLM 输出。当用户想要执行以下操作时使用：(1) 使用 AI 代理的测试用例创建评估数据集，(2) 定义评估器（确定性、LLM-as-Judge、自定义或基于跨度），(3) 运行评估并生成报告，(4) 比较不同实验的模型性能，(5) 将评估与 Pydantic AI 代理集成，(6) 使用 Logfire 设置可观察性，(7) 使用 LLM 生成测试数据集，(8) 为 AI 系统实施回归测试。
通过命令行快速安装 pydantic-evals AI 技能到你的开发环境
来源：fuenfgeld/pydantic-ai-skills。
Pydantic Evals provides rigorous testing and evaluation for AI agents and LLM outputs using a code-first approach with Pydantic models. It enables "Evaluation-Driven Development" (EDD) where evaluation suites live alongside application code, subject to version control and CI/CD.
Case A single test scenario with inputs, optional expected output, and metadata.
Dataset Collection of Cases with default evaluators. Generic over input/output types.
使用具有强类型功能的代码优先评估框架来测试和评估 AI 代理和 LLM 输出。当用户想要执行以下操作时使用：(1) 使用 AI 代理的测试用例创建评估数据集，(2) 定义评估器（确定性、LLM-as-Judge、自定义或基于跨度），(3) 运行评估并生成报告，(4) 比较不同实验的模型性能，(5) 将评估与 Pydantic AI 代理集成，(6) 使用 Logfire 设置可观察性，(7) 使用 LLM 生成测试数据集，(8) 为 AI 系统实施回归测试。 来源：fuenfgeld/pydantic-ai-skills。
为搜索与 AI 引用准备的稳定字段与命令。
npx skills add https://github.com/fuenfgeld/pydantic-ai-skills --skill pydantic-evals使用具有强类型功能的代码优先评估框架来测试和评估 AI 代理和 LLM 输出。当用户想要执行以下操作时使用：(1) 使用 AI 代理的测试用例创建评估数据集，(2) 定义评估器（确定性、LLM-as-Judge、自定义或基于跨度），(3) 运行评估并生成报告，(4) 比较不同实验的模型性能，(5) 将评估与 Pydantic AI 代理集成，(6) 使用 Logfire 设置可观察性，(7) 使用 LLM 生成测试数据集，(8) 为 AI 系统实施回归测试。 来源：fuenfgeld/pydantic-ai-skills。
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/fuenfgeld/pydantic-ai-skills --skill pydantic-evals 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code、Cursor 或 OpenClaw 中使用
https://github.com/fuenfgeld/pydantic-ai-skills