什麼是 msmodelslim?
華為Ascend NPU模型壓縮工具(msModelSlim)。用於LLM量化(W4A8、W8A8、W8A8S、W8A16)、MoE模型壓縮、多模態模型壓縮(Qwen-VL、InternVL、HunyuanVideo、FLUX、SD3)、校準資料準備、精度自動調整、敏感層分析、自訂模型整合以及在MindIE/vLLM-Ascend中的部署。支援 Qwen、LLaMA、DeepSeek、GLM、Kimi、InternLM 等。 來源:ascend-ai-coding/awesome-ascend-skills。