Plug-in vLLM Ascend per l'inferenza LLM su Huawei Ascend NPU. Utilizzare per inferenza batch offline, distribuzione di server API, inferenza di quantizzazione (con modelli quantizzati msmodelslim), parallelismo tensore/pipeline per la distribuzione distribuita ed endpoint API compatibili con OpenAI. Supporta i modelli Qwen, DeepSeek, GLM, LLaMA con kernel ottimizzati per Ascend.
Installa rapidamente la skill AI vllm-ascend nel tuo ambiente di sviluppo tramite riga di comando
Fonte: ascend-ai-coding/awesome-ascend-skills.
vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.
vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.
| Parameter | Default | Description | Tuning Advice |
Plug-in vLLM Ascend per l'inferenza LLM su Huawei Ascend NPU. Utilizzare per inferenza batch offline, distribuzione di server API, inferenza di quantizzazione (con modelli quantizzati msmodelslim), parallelismo tensore/pipeline per la distribuzione distribuita ed endpoint API compatibili con OpenAI. Supporta i modelli Qwen, DeepSeek, GLM, LLaMA con kernel ottimizzati per Ascend. Fonte: ascend-ai-coding/awesome-ascend-skills.
Campi e comandi stabili per citazioni AI/ricerca.
npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascendBrowse more skills from ascend-ai-coding/awesome-ascend-skills
Plug-in vLLM Ascend per l'inferenza LLM su Huawei Ascend NPU. Utilizzare per inferenza batch offline, distribuzione di server API, inferenza di quantizzazione (con modelli quantizzati msmodelslim), parallelismo tensore/pipeline per la distribuzione distribuita ed endpoint API compatibili con OpenAI. Supporta i modelli Qwen, DeepSeek, GLM, LLaMA con kernel ottimizzati per Ascend. Fonte: ascend-ai-coding/awesome-ascend-skills.
Apri il tuo terminale o strumento da riga di comando (Terminal, iTerm, Windows Terminal, ecc.) Copia ed esegui questo comando: npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascend Dopo l'installazione, la skill verrà configurata automaticamente nel tuo ambiente AI di coding e sarà pronta all'uso in Claude Code, Cursor o OpenClaw
https://github.com/ascend-ai-coding/awesome-ascend-skills