ais-bench

AISBench Benchmark is a model evaluation tool built based on OpenCompass. It supports evaluation scenarios for both accuracy and performance testing of AI models on Ascend NPU.

| Accuracy Evaluation | Model accuracy on text/multimodal datasets | | Performance Evaluation | Latency, throughput, stress testing | | Steady-State Performance | Obtain true optimal system performance | | Real Traffic Simulation | Simulate real business traffic patterns | | Multi-turn Dialogue | Evaluate multi-turn conversation models |

| Function Call (BFCL) | Function calling capability evaluation |

AISBench Benchmark - Outil d'évaluation de modèle d'IA pour Ascend NPU. Prend en charge l'évaluation de la précision (modèles de service/locaux sur texte, ensembles de données multimodaux), l'évaluation des performances (latence, débit, tests de résistance, état stable, simulation de trafic réel), les services d'inférence vLLM/Triton, plus de 15 benchmarks (MMLU, GSM8K, MMMU, docvqa, ocrbench_v2, etc.), le dialogue multi-tours, l'appel de fonction (BFCL) et les ensembles de données personnalisés. Source : ascend-ai-coding/awesome-ascend-skills.