強力な型付けを備えたコードファースト評価フレームワークを使用して、AI エージェントと LLM 出力をテストおよび評価します。ユーザーが次のことを行う場合に使用します: (1) AI エージェントのテスト ケースを含む評価データセットを作成する、(2) 評価者 (決定論的、LLM-as-Judge、カスタム、またはスパンベース) を定義する、(3) 評価を実行してレポートを生成する、(4) 実験全体でモデルのパフォーマンスを比較する、(5) Pydantic AI エージェントと評価を統合する、(6) Logfire で可観測性を設定する、(7) LLM を使用してテスト データセットを生成する、(8) AI システムの回帰テストを実装します。
コマンドラインで pydantic-evals AI スキルを開発環境にすばやくインストール
ソース: fuenfgeld/pydantic-ai-skills。
Pydantic Evals provides rigorous testing and evaluation for AI agents and LLM outputs using a code-first approach with Pydantic models. It enables "Evaluation-Driven Development" (EDD) where evaluation suites live alongside application code, subject to version control and CI/CD.
Case A single test scenario with inputs, optional expected output, and metadata.
Dataset Collection of Cases with default evaluators. Generic over input/output types.
強力な型付けを備えたコードファースト評価フレームワークを使用して、AI エージェントと LLM 出力をテストおよび評価します。ユーザーが次のことを行う場合に使用します: (1) AI エージェントのテスト ケースを含む評価データセットを作成する、(2) 評価者 (決定論的、LLM-as-Judge、カスタム、またはスパンベース) を定義する、(3) 評価を実行してレポートを生成する、(4) 実験全体でモデルのパフォーマンスを比較する、(5) Pydantic AI エージェントと評価を統合する、(6) Logfire で可観測性を設定する、(7) LLM を使用してテスト データセットを生成する、(8) AI システムの回帰テストを実装します。 ソース: fuenfgeld/pydantic-ai-skills。
AI/検索での引用用の安定したフィールドとコマンド。
npx skills add https://github.com/fuenfgeld/pydantic-ai-skills --skill pydantic-evals強力な型付けを備えたコードファースト評価フレームワークを使用して、AI エージェントと LLM 出力をテストおよび評価します。ユーザーが次のことを行う場合に使用します: (1) AI エージェントのテスト ケースを含む評価データセットを作成する、(2) 評価者 (決定論的、LLM-as-Judge、カスタム、またはスパンベース) を定義する、(3) 評価を実行してレポートを生成する、(4) 実験全体でモデルのパフォーマンスを比較する、(5) Pydantic AI エージェントと評価を統合する、(6) Logfire で可観測性を設定する、(7) LLM を使用してテスト データセットを生成する、(8) AI システムの回帰テストを実装します。 ソース: fuenfgeld/pydantic-ai-skills。
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/fuenfgeld/pydantic-ai-skills --skill pydantic-evals インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code、Cursor、OpenClaw で使用できるようになります
https://github.com/fuenfgeld/pydantic-ai-skills