llm-testing

SKILL.md

Test AI applications with deterministic patterns using DeepEval and RAGAS.

| Answer Relevancy | ≥ 0.7 | Response addresses question | | Faithfulness | ≥ 0.8 | Output matches context | | Hallucination | ≤ 0.3 | No fabricated facts | | Context Precision | ≥ 0.7 | Retrieved contexts relevant |

| Mock vs VCR | VCR for integration, mock for unit | | Timeout | Always test with < 1s timeout | | Schema validation | Test both valid and invalid | | Edge cases | Test all null/empty paths | | Quality metrics | Use multiple dimensions (3-5) |

Modèles de test pour les applications basées sur LLM. À utiliser pour tester les intégrations AI/ML, se moquer des réponses LLM, tester les délais d'attente asynchrones ou valider les sorties structurées des LLM. Source : yonatangross/orchestkit.

Voir l'original