ais-bench

AISBench Benchmark is a model evaluation tool built based on OpenCompass. It supports evaluation scenarios for both accuracy and performance testing of AI models on Ascend NPU.

| Accuracy Evaluation | Model accuracy on text/multimodal datasets | | Performance Evaluation | Latency, throughput, stress testing | | Steady-State Performance | Obtain true optimal system performance | | Real Traffic Simulation | Simulate real business traffic patterns | | Multi-turn Dialogue | Evaluate multi-turn conversation models |

| Function Call (BFCL) | Function calling capability evaluation |

AISBench Benchmark — инструмент оценки модели искусственного интеллекта для Ascend NPU. Поддерживает оценку точности (сервисные/локальные модели для текста, мультимодальные наборы данных), оценку производительности (задержка, пропускная способность, стресс-тестирование, моделирование устойчивого состояния, реального трафика), службы вывода vLLM/Triton, более 15 тестов (MMLU, GSM8K, MMMU, docvqa, ocrbench_v2 и т. д.), многооборотный диалог, вызов функций (BFCL) и пользовательские наборы данных. Источник: ascend-ai-coding/awesome-ascend-skills.