Плагин vLLM Ascend для обработки выводов LLM на процессоре Huawei Ascend NPU. Используйте для автономного пакетного вывода, развертывания сервера API, вывода квантования (с квантованными моделями msmodelslim), тензорного/конвейерного параллелизма для распределенного обслуживания и конечных точек API, совместимых с OpenAI. Поддерживает модели Qwen, DeepSeek, GLM, LLaMA с ядрами, оптимизированными для Ascend.
Быстро установите AI-навык vllm-ascend в вашу среду разработки через командную строку
Источник: ascend-ai-coding/awesome-ascend-skills.
vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.
vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.
| Parameter | Default | Description | Tuning Advice |
Плагин vLLM Ascend для обработки выводов LLM на процессоре Huawei Ascend NPU. Используйте для автономного пакетного вывода, развертывания сервера API, вывода квантования (с квантованными моделями msmodelslim), тензорного/конвейерного параллелизма для распределенного обслуживания и конечных точек API, совместимых с OpenAI. Поддерживает модели Qwen, DeepSeek, GLM, LLaMA с ядрами, оптимизированными для Ascend. Источник: ascend-ai-coding/awesome-ascend-skills.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascendBrowse more skills from ascend-ai-coding/awesome-ascend-skills
Плагин vLLM Ascend для обработки выводов LLM на процессоре Huawei Ascend NPU. Используйте для автономного пакетного вывода, развертывания сервера API, вывода квантования (с квантованными моделями msmodelslim), тензорного/конвейерного параллелизма для распределенного обслуживания и конечных точек API, совместимых с OpenAI. Поддерживает модели Qwen, DeepSeek, GLM, LLaMA с ядрами, оптимизированными для Ascend. Источник: ascend-ai-coding/awesome-ascend-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascend После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/ascend-ai-coding/awesome-ascend-skills