AISBench Benchmark is a model evaluation tool built based on OpenCompass. It supports evaluation scenarios for both accuracy and performance testing of AI models on Ascend NPU.
| Accuracy Evaluation | Model accuracy on text/multimodal datasets | | Performance Evaluation | Latency, throughput, stress testing | | Steady-State Performance | Obtain true optimal system performance | | Real Traffic Simulation | Simulate real business traffic patterns | | Multi-turn Dialogue | Evaluate multi-turn conversation models |
| Function Call (BFCL) | Function calling capability evaluation |
AISBench Benchmark – KI-Modellbewertungstool für Ascend NPU. Unterstützt Genauigkeitsbewertung (Dienst/lokale Modelle für Text, multimodale Datensätze), Leistungsbewertung (Latenz, Durchsatz, Stresstests, Steady-State, reale Verkehrssimulation), vLLM/Triton-Inferenzdienste, mehr als 15 Benchmarks (MMLU, GSM8K, MMMU, docvqa, ocrbench_v2 usw.), Multi-Turn-Dialog, Funktionsaufruf (BFCL) und benutzerdefinierte Datensätze. Quelle: ascend-ai-coding/awesome-ascend-skills.