Что такое msmodelslim?
Инструмент сжатия моделей Huawei Ascend NPU (msModelSlim). Используется для квантования LLM (W4A8, W8A8, W8A8S, W8A16), сжатия моделей MoE, сжатия мультимодальных моделей (Qwen-VL, InternVL, HunyuanVideo, FLUX, SD3), подготовки калибровочных данных, точной автонастройки, анализа чувствительных слоев, интеграции пользовательских моделей и развертывания в MindIE/vLLM-Ascend. Поддерживает Qwen, LLaMA, DeepSeek, GLM, Kimi, InternLM и другие. Источник: ascend-ai-coding/awesome-ascend-skills.