mlx

SKILL.md

MLX-LM is a Python package for running large language models on Apple Silicon, leveraging the MLX framework for optimized performance with unified memory architecture.

| Memory | Separate CPU/GPU copies | Unified memory, no copies | | Optimization | Generic Metal backend | Apple Silicon native | | Model loading | Slower, more memory | Lazy loading, efficient | | Quantization | Limited support | Built-in 4/8-bit |

MLX arrays live in shared memory, accessible by both CPU and GPU without data transfer overhead.

Ausführen und Feinabstimmen von LLMs auf Apple Silicon mit MLX. Verwenden Sie diese Option, wenn Sie lokal auf dem Mac mit Modellen arbeiten, Hugging Face-Modelle in das MLX-Format konvertieren, eine Feinabstimmung mit LoRA/QLoRA auf Apple Silicon vornehmen oder Modelle über die HTTP-API bereitstellen. Quelle: itsmostafa/llm-engineering-skills.

Original anzeigen