gguf-quantization
✓Format GGUF et quantification llama.cpp pour une inférence CPU/GPU efficace. À utiliser lors du déploiement de modèles sur du matériel grand public, Apple Silicon, ou lorsque vous avez besoin d'une quantification flexible de 2 à 8 bits sans exigences GPU.
Installation
SKILL.md
The GGUF (GPT-Generated Unified Format) is the standard file format for llama.cpp, enabling efficient inference on CPUs, Apple Silicon, and GPUs with flexible quantization options.
| Type | Bits | Size (7B) | Quality | Use Case |
| Q2K | 2.5 | 2.8 GB | Low | Extreme compression | | Q3KS | 3.0 | 3.0 GB | Low-Med | Memory constrained | | Q3KM | 3.3 | 3.3 GB | Medium | Balance | | Q4KS | 4.0 | 3.8 GB | Med-High | Good balance | | Q4KM | 4.5 | 4.1 GB | High | Recommended default | | Q5KS | 5.0 | 4.6 GB | High | Quality focused | | Q5KM | 5.5 | 4.8 GB | Very High | High quality |
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization- Catégorie
- </>Développement
- Vérifié
- ✓
- Première apparition
- 2026-02-11
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que gguf-quantization ?
Format GGUF et quantification llama.cpp pour une inférence CPU/GPU efficace. À utiliser lors du déploiement de modèles sur du matériel grand public, Apple Silicon, ou lorsque vous avez besoin d'une quantification flexible de 2 à 8 bits sans exigences GPU. Source : orchestra-research/ai-research-skills.
Comment installer gguf-quantization ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/orchestra-research/ai-research-skills
Détails
- Catégorie
- </>Développement
- Source
- skills.sh
- Première apparition
- 2026-02-11