msmodelslim

MindStudio ModelSlim (msModelSlim) is a model compression tool optimized for Huawei Ascend AI processors. It supports quantization and compression for LLMs, MoE models, and multimodal models.

V1 automatic quantization uses configuration files from labpractice/ directory.

Note: Find config files in labpractice/ directory of msmodelslim repository: Structure: labpractice/ / - -v1.yaml Example: labpractice/qwen2.5/qwen2.5-7b-w8a8-v1.yaml

Herramienta de compresión de modelos Huawei Ascend NPU (msModelSlim). Úselo para cuantificación LLM (W4A8, W8A8, W8A8S, W8A16), compresión de modelos MoE, compresión de modelos multimodal (Qwen-VL, InternVL, HunyuanVideo, FLUX, SD3), preparación de datos de calibración, ajuste automático de precisión, análisis de capas sensibles, integración de modelos personalizados e implementación en MindIE/vLLM-Ascend. Admite Qwen, LLaMA, DeepSeek, GLM, Kimi, InternLM y más. Fuente: ascend-ai-coding/awesome-ascend-skills.