gguf-quantization
✓GGUF-Format und llama.cpp-Quantisierung für effiziente CPU/GPU-Inferenz. Verwenden Sie diese Option, wenn Sie Modelle auf Consumer-Hardware oder Apple Silicon bereitstellen oder wenn Sie eine flexible Quantisierung von 2 bis 8 Bit ohne GPU-Anforderungen benötigen.
Installation
SKILL.md
The GGUF (GPT-Generated Unified Format) is the standard file format for llama.cpp, enabling efficient inference on CPUs, Apple Silicon, and GPUs with flexible quantization options.
| Type | Bits | Size (7B) | Quality | Use Case |
| Q2K | 2.5 | 2.8 GB | Low | Extreme compression | | Q3KS | 3.0 | 3.0 GB | Low-Med | Memory constrained | | Q3KM | 3.3 | 3.3 GB | Medium | Balance | | Q4KS | 4.0 | 3.8 GB | Med-High | Good balance | | Q4KM | 4.5 | 4.1 GB | High | Recommended default | | Q5KS | 5.0 | 4.6 GB | High | Quality focused | | Q5KM | 5.5 | 4.8 GB | Very High | High quality |
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-11
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist gguf-quantization?
GGUF-Format und llama.cpp-Quantisierung für effiziente CPU/GPU-Inferenz. Verwenden Sie diese Option, wenn Sie Modelle auf Consumer-Hardware oder Apple Silicon bereitstellen oder wenn Sie eine flexible Quantisierung von 2 bis 8 Bit ohne GPU-Anforderungen benötigen. Quelle: orchestra-research/ai-research-skills.
Wie installiere ich gguf-quantization?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/orchestra-research/ai-research-skills
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-11