evaluating-llms

SKILL.md

Evaluate Large Language Model (LLM) systems using automated metrics, LLM-as-judge patterns, and standardized benchmarks to ensure production quality and safety.

| Task Type | Primary Approach | Metrics | Tools |

| Classification (sentiment, intent) | Automated metrics | Accuracy, Precision, Recall, F1 | scikit-learn | | Generation (summaries, creative text) | LLM-as-judge + automated | BLEU, ROUGE, BERTScore, Quality rubric | GPT-4/Claude for judging | | Question Answering | Exact match + semantic similarity | EM, F1, Cosine similarity | Custom evaluators |

Évaluez les systèmes LLM à l'aide de métriques automatisées, de LLM en tant que juge et de références. À utiliser pour tester la qualité rapide, valider les pipelines RAG, mesurer la sécurité (hallucinations, biais) ou comparer des modèles pour le déploiement en production. Source : ancoleman/ai-design-components.

Voir l'original