mlx

SKILL.md

MLX-LM is a Python package for running large language models on Apple Silicon, leveraging the MLX framework for optimized performance with unified memory architecture.

| Memory | Separate CPU/GPU copies | Unified memory, no copies | | Optimization | Generic Metal backend | Apple Silicon native | | Model loading | Slower, more memory | Lazy loading, efficient | | Quantization | Limited support | Built-in 4/8-bit |

MLX arrays live in shared memory, accessible by both CPU and GPU without data transfer overhead.

Exécuter et peaufiner les LLM sur Apple Silicon avec MLX. À utiliser lorsque vous travaillez avec des modèles localement sur Mac, convertissez des modèles Hugging Face au format MLX, affinez avec LoRA/QLoRA sur Apple Silicon ou servez des modèles via l'API HTTP. Source : itsmostafa/llm-engineering-skills.

Voir l'original