MindStudio ModelSlim (msModelSlim) is a model compression tool optimized for Huawei Ascend AI processors. It supports quantization and compression for LLMs, MoE models, and multimodal models.
V1 automatic quantization uses configuration files from labpractice/ directory.
Note: Find config files in labpractice/ directory of msmodelslim repository: Structure: labpractice/ / - -v1.yaml Example: labpractice/qwen2.5/qwen2.5-7b-w8a8-v1.yaml
Huawei Ascend NPU 모델 압축 도구(msModelSlim). LLM 양자화(W4A8, W8A8, W8A8S, W8A16), MoE 모델 압축, 다중 모드 모델 압축(Qwen-VL, InternVL, HunyuanVideo, FLUX, SD3), 교정 데이터 준비, 정밀 자동 조정, 민감한 계층 분석, 사용자 정의 모델 통합 및 MindIE/vLLM-Ascend 배포에 사용됩니다. Qwen, LLaMA, DeepSeek, GLM, Kimi, InternLM 등을 지원합니다. 출처: ascend-ai-coding/awesome-ascend-skills.