ais-bench

AISBench Benchmark is a model evaluation tool built based on OpenCompass. It supports evaluation scenarios for both accuracy and performance testing of AI models on Ascend NPU.

| Accuracy Evaluation | Model accuracy on text/multimodal datasets | | Performance Evaluation | Latency, throughput, stress testing | | Steady-State Performance | Obtain true optimal system performance | | Real Traffic Simulation | Simulate real business traffic patterns | | Multi-turn Dialogue | Evaluate multi-turn conversation models |

| Function Call (BFCL) | Function calling capability evaluation |

AISBench Benchmark: herramienta de evaluación de modelos de IA para Ascend NPU. Admite evaluación de precisión (servicio/modelos locales en texto, conjuntos de datos multimodales), evaluación de rendimiento (latencia, rendimiento, pruebas de estrés, estado estable, simulación de tráfico real), servicios de inferencia vLLM/Triton, más de 15 puntos de referencia (MMLU, GSM8K, MMMU, docvqa, ocrbench_v2, etc.), diálogo de múltiples turnos, llamada de función (BFCL) y conjuntos de datos personalizados. Fuente: ascend-ai-coding/awesome-ascend-skills.