evaluating-llms

SKILL.md

Evaluate Large Language Model (LLM) systems using automated metrics, LLM-as-judge patterns, and standardized benchmarks to ensure production quality and safety.

| Task Type | Primary Approach | Metrics | Tools |

| Classification (sentiment, intent) | Automated metrics | Accuracy, Precision, Recall, F1 | scikit-learn | | Generation (summaries, creative text) | LLM-as-judge + automated | BLEU, ROUGE, BERTScore, Quality rubric | GPT-4/Claude for judging | | Question Answering | Exact match + semantic similarity | EM, F1, Cosine similarity | Custom evaluators |

Bewerten Sie LLM-Systeme mithilfe automatisierter Metriken, LLM-as-Judge und Benchmarks. Verwenden Sie es zum Testen der Prompt-Qualität, zum Validieren von RAG-Pipelines, zum Messen der Sicherheit (Halluzinationen, Bias) oder zum Vergleichen von Modellen für den Produktionseinsatz. Quelle: ancoleman/ai-design-components.

Original anzeigen