Huawei Ascend NPU에서 제공되는 LLM 추론을 위한 vLLM Ascend 플러그인입니다. 오프라인 일괄 추론, API 서버 배포, 양자화 추론(msmodelslim 양자화 모델 사용), 분산 제공을 위한 텐서/파이프라인 병렬 처리 및 OpenAI 호환 API 엔드포인트에 사용됩니다. Ascend에 최적화된 커널로 Qwen, DeepSeek, GLM, LLaMA 모델을 지원합니다.
명령줄에서 vllm-ascend AI 스킬을 개발 환경에 빠르게 설치
출처: ascend-ai-coding/awesome-ascend-skills.
vLLM-Ascend is a plugin for vLLM that enables efficient LLM inference on Huawei Ascend AI processors. It provides Ascend-optimized kernels, quantization support, and distributed inference capabilities.
vLLM-Ascend supports models quantized with msModelSlim. For quantization details, see msmodelslim.
| Parameter | Default | Description | Tuning Advice |
Huawei Ascend NPU에서 제공되는 LLM 추론을 위한 vLLM Ascend 플러그인입니다. 오프라인 일괄 추론, API 서버 배포, 양자화 추론(msmodelslim 양자화 모델 사용), 분산 제공을 위한 텐서/파이프라인 병렬 처리 및 OpenAI 호환 API 엔드포인트에 사용됩니다. Ascend에 최적화된 커널로 Qwen, DeepSeek, GLM, LLaMA 모델을 지원합니다. 출처: ascend-ai-coding/awesome-ascend-skills.
AI/검색 인용용 안정적인 필드와 명령어.
npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascendBrowse more skills from ascend-ai-coding/awesome-ascend-skills
Huawei Ascend NPU에서 제공되는 LLM 추론을 위한 vLLM Ascend 플러그인입니다. 오프라인 일괄 추론, API 서버 배포, 양자화 추론(msmodelslim 양자화 모델 사용), 분산 제공을 위한 텐서/파이프라인 병렬 처리 및 OpenAI 호환 API 엔드포인트에 사용됩니다. Ascend에 최적화된 커널로 Qwen, DeepSeek, GLM, LLaMA 모델을 지원합니다. 출처: ascend-ai-coding/awesome-ascend-skills.
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/ascend-ai-coding/awesome-ascend-skills --skill vllm-ascend 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code, Cursor, OpenClaw에서 사용할 수 있습니다
https://github.com/ascend-ai-coding/awesome-ascend-skills