agent-evaluation

SKILL.md

Agent evaluation requires different approaches than traditional software. Agents are non-deterministic, may take different valid paths, and lack single correct answers.

Research on BrowseComp found three factors explain 95% of variance:

| Token usage | 80% | More tokens = better performance | | Tool calls | 10% | More exploration helps | | Model choice | 5% | Better models multiply efficiency |

Wird verwendet, wenn Sie die Leistung von Agenten bewerten, Test-Frameworks erstellen, die Qualität messen oder Fragen zu „Agentenbewertung“, „LLM als Richter“, „Agententests“, „Qualitätsmetriken“, „Bewertungsrubriken“ und „Agenten-Benchmarks“ stellen. Quelle: eyadsibai/ltk.

Original anzeigen