msmodelslim

MindStudio ModelSlim (msModelSlim) is a model compression tool optimized for Huawei Ascend AI processors. It supports quantization and compression for LLMs, MoE models, and multimodal models.

V1 automatic quantization uses configuration files from labpractice/ directory.

Note: Find config files in labpractice/ directory of msmodelslim repository: Structure: labpractice/ / - -v1.yaml Example: labpractice/qwen2.5/qwen2.5-7b-w8a8-v1.yaml

Outil de compression de modèle Huawei Ascend NPU (msModelSlim). Utilisation pour la quantification LLM (W4A8, W8A8, W8A8S, W8A16), la compression de modèle MoE, la compression de modèle multimodal (Qwen-VL, InternVL, HunyuanVideo, FLUX, SD3), la préparation des données d'étalonnage, le réglage automatique de précision, l'analyse des couches sensibles, l'intégration de modèles personnalisés et le déploiement dans MindIE/vLLM-Ascend. Prend en charge Qwen, LLaMA, DeepSeek, GLM, Kimi, InternLM et plus encore. Source : ascend-ai-coding/awesome-ascend-skills.