msmodelslim

MindStudio ModelSlim (msModelSlim) is a model compression tool optimized for Huawei Ascend AI processors. It supports quantization and compression for LLMs, MoE models, and multimodal models.

V1 automatic quantization uses configuration files from labpractice/ directory.

Note: Find config files in labpractice/ directory of msmodelslim repository: Structure: labpractice/ / - -v1.yaml Example: labpractice/qwen2.5/qwen2.5-7b-w8a8-v1.yaml

Huawei Ascend NPU-Modellkomprimierungstool (msModelSlim). Verwendung für LLM-Quantisierung (W4A8, W8A8, W8A8S, W8A16), MoE-Modellkomprimierung, multimodale Modellkomprimierung (Qwen-VL, InternVL, HunyuanVideo, FLUX, SD3), Kalibrierungsdatenvorbereitung, präzises Auto-Tuning, Analyse sensibler Schichten, benutzerdefinierte Modellintegration und Bereitstellung in MindIE/vLLM-Ascend. Unterstützt Qwen, LLaMA, DeepSeek, GLM, Kimi, InternLM und mehr. Quelle: ascend-ai-coding/awesome-ascend-skills.