vllm-ascend

vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.

vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.

| Parameter | Default | Description | Tuning Advice |

vLLM Ascend 插件，用於在華為 Ascend NPU 上提供 LLM 推理服務。用於離線批次推理、API 伺服器部署、量化推理（使用 msmodelslim 量化模型）、分散式服務的張量/管道並行性以及與 OpenAI 相容的 API 端點。支援具有 Ascend 優化內核的 Qwen、DeepSeek、GLM、LLaMA 模型。 來源：ascend-ai-coding/awesome-ascend-skills。