msmodelslim

MindStudio ModelSlim (msModelSlim) is a model compression tool optimized for Huawei Ascend AI processors. It supports quantization and compression for LLMs, MoE models, and multimodal models.

V1 automatic quantization uses configuration files from labpractice/ directory.

Note: Find config files in labpractice/ directory of msmodelslim repository: Structure: labpractice/ / - -v1.yaml Example: labpractice/qwen2.5/qwen2.5-7b-w8a8-v1.yaml

Strumento di compressione del modello Huawei Ascend NPU (msModelSlim). Utilizzare per la quantizzazione LLM (W4A8, W8A8, W8A8S, W8A16), compressione del modello MoE, compressione del modello multimodale (Qwen-VL, InternVL, HunyuanVideo, FLUX, SD3), preparazione dei dati di calibrazione, regolazione automatica di precisione, analisi dei livelli sensibili, integrazione del modello personalizzato e distribuzione in MindIE/vLLM-Ascend. Supporta Qwen, LLaMA, DeepSeek, GLM, Kimi, InternLM e altri. Fonte: ascend-ai-coding/awesome-ascend-skills.