vllm-ascend

vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.

vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.

| Parameter | Default | Description | Tuning Advice |

vLLM Ascend 插件，用于在华为 Ascend NPU 上提供 LLM 推理服务。用于离线批量推理、API 服务器部署、量化推理（使用 msmodelslim 量化模型）、分布式服务的张量/管道并行性以及与 OpenAI 兼容的 API 端点。支持具有 Ascend 优化内核的 Qwen、DeepSeek、GLM、LLaMA 模型。 来源：ascend-ai-coding/awesome-ascend-skills。