什么是 msmodelslim?
华为Ascend NPU模型压缩工具(msModelSlim)。用于LLM量化(W4A8、W8A8、W8A8S、W8A16)、MoE模型压缩、多模态模型压缩(Qwen-VL、InternVL、HunyuanVideo、FLUX、SD3)、校准数据准备、精度自动调整、敏感层分析、自定义模型集成以及在MindIE/vLLM-Ascend中的部署。支持 Qwen、LLaMA、DeepSeek、GLM、Kimi、InternLM 等。 来源:ascend-ai-coding/awesome-ascend-skills。