ais-bench

AISBench Benchmark is a model evaluation tool built based on OpenCompass. It supports evaluation scenarios for both accuracy and performance testing of AI models on Ascend NPU.

| Accuracy Evaluation | Model accuracy on text/multimodal datasets | | Performance Evaluation | Latency, throughput, stress testing | | Steady-State Performance | Obtain true optimal system performance | | Real Traffic Simulation | Simulate real business traffic patterns | | Multi-turn Dialogue | Evaluate multi-turn conversation models |

| Function Call (BFCL) | Function calling capability evaluation |

AISBench Benchmark - Ascend NPU 用の AI モデル評価ツール。精度評価 (テキスト上のサービス/ローカル モデル、マルチモーダル データセット)、パフォーマンス評価 (レイテンシ、スループット、ストレス テスト、定常状態、実際のトラフィック シミュレーション)、vLLM/Triton 推論サービス、15 以上のベンチマーク (MMLU、GSM8K、MMMU、docvqa、ocrbench_v2 など)、マルチターン ダイアログ、関数呼び出し (BFCL)、およびカスタム データセットをサポートします。 ソース: ascend-ai-coding/awesome-ascend-skills。