vLLM Ascend-Plugin für die Bereitstellung von LLM-Inferenzen auf der Huawei Ascend NPU. Verwendung für Offline-Batch-Inferenz, API-Serverbereitstellung, Quantisierungsinferenz (mit quantisierten msmodelslim-Modellen), Tensor-/Pipeline-Parallelität für verteilte Bereitstellung und OpenAI-kompatible API-Endpunkte. Unterstützt Qwen-, DeepSeek-, GLM- und LLaMA-Modelle mit Ascend-optimierten Kerneln.
Installieren Sie den KI-Skill vllm-ascend schnell in Ihrer Entwicklungsumgebung über die Kommandozeile
Quelle: ascend-ai-coding/awesome-ascend-skills.
vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.
vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.
| Parameter | Default | Description | Tuning Advice |
vLLM Ascend-Plugin für die Bereitstellung von LLM-Inferenzen auf der Huawei Ascend NPU. Verwendung für Offline-Batch-Inferenz, API-Serverbereitstellung, Quantisierungsinferenz (mit quantisierten msmodelslim-Modellen), Tensor-/Pipeline-Parallelität für verteilte Bereitstellung und OpenAI-kompatible API-Endpunkte. Unterstützt Qwen-, DeepSeek-, GLM- und LLaMA-Modelle mit Ascend-optimierten Kerneln. Quelle: ascend-ai-coding/awesome-ascend-skills.
Stabile Felder und Befehle für KI/Such-Zitate.
npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascendBrowse more skills from ascend-ai-coding/awesome-ascend-skills
vLLM Ascend-Plugin für die Bereitstellung von LLM-Inferenzen auf der Huawei Ascend NPU. Verwendung für Offline-Batch-Inferenz, API-Serverbereitstellung, Quantisierungsinferenz (mit quantisierten msmodelslim-Modellen), Tensor-/Pipeline-Parallelität für verteilte Bereitstellung und OpenAI-kompatible API-Endpunkte. Unterstützt Qwen-, DeepSeek-, GLM- und LLaMA-Modelle mit Ascend-optimierten Kerneln. Quelle: ascend-ai-coding/awesome-ascend-skills.
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascend Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code, Cursor oder OpenClaw
https://github.com/ascend-ai-coding/awesome-ascend-skills