Complemento vLLM Ascend para servicio de inferencia LLM en Huawei Ascend NPU. Úselo para inferencia por lotes fuera de línea, implementación de servidor API, inferencia de cuantificación (con modelos cuantificados msmodelslim), paralelismo de tensor/canalización para servicio distribuido y puntos finales de API compatibles con OpenAI. Admite modelos Qwen, DeepSeek, GLM, LLaMA con kernels optimizados para Ascend.
Instala rápidamente el skill de IA vllm-ascend en tu entorno de desarrollo mediante línea de comandos
Fuente: ascend-ai-coding/awesome-ascend-skills.
vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.
vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.
| Parameter | Default | Description | Tuning Advice |
Complemento vLLM Ascend para servicio de inferencia LLM en Huawei Ascend NPU. Úselo para inferencia por lotes fuera de línea, implementación de servidor API, inferencia de cuantificación (con modelos cuantificados msmodelslim), paralelismo de tensor/canalización para servicio distribuido y puntos finales de API compatibles con OpenAI. Admite modelos Qwen, DeepSeek, GLM, LLaMA con kernels optimizados para Ascend. Fuente: ascend-ai-coding/awesome-ascend-skills.
Campos y comandos estables para citas de IA/búsqueda.
npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascendBrowse more skills from ascend-ai-coding/awesome-ascend-skills
Complemento vLLM Ascend para servicio de inferencia LLM en Huawei Ascend NPU. Úselo para inferencia por lotes fuera de línea, implementación de servidor API, inferencia de cuantificación (con modelos cuantificados msmodelslim), paralelismo de tensor/canalización para servicio distribuido y puntos finales de API compatibles con OpenAI. Admite modelos Qwen, DeepSeek, GLM, LLaMA con kernels optimizados para Ascend. Fuente: ascend-ai-coding/awesome-ascend-skills.
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascend Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code, Cursor u OpenClaw
https://github.com/ascend-ai-coding/awesome-ascend-skills