ais-bench

AISBench Benchmark is a model evaluation tool built based on OpenCompass. It supports evaluation scenarios for both accuracy and performance testing of AI models on Ascend NPU.

| Accuracy Evaluation | Model accuracy on text/multimodal datasets | | Performance Evaluation | Latency, throughput, stress testing | | Steady-State Performance | Obtain true optimal system performance | | Real Traffic Simulation | Simulate real business traffic patterns | | Multi-turn Dialogue | Evaluate multi-turn conversation models |

| Function Call (BFCL) | Function calling capability evaluation |

AISBench Benchmark - أداة تقييم نموذج الذكاء الاصطناعي لـ Ascend NPU. يدعم تقييم الدقة (نماذج الخدمة/المحلية على النص، ومجموعات البيانات متعددة الوسائط)، وتقييم الأداء (زمن الوصول، والإنتاجية، واختبار الإجهاد، والحالة الثابتة، ومحاكاة حركة المرور الحقيقية)، وخدمات استدلال vLLM/Triton، وأكثر من 15 معيارًا (MMLU، وGSM8K، وMMMU، وdocvqa، وocrbench_v2، وما إلى ذلك)، والحوار متعدد المنعطفات، واستدعاء الوظائف (BFCL)، ومجموعات البيانات المخصصة. المصدر: ascend-ai-coding/awesome-ascend-skills.