gguf-quantization
✓GGUF 格式和 llama.cpp 量化可实现高效的 CPU/GPU 推理。在消费类硬件、Apple Silicon 上部署模型时，或者需要从 2-8 位进行灵活量化且无需 GPU 时使用。
SKILL.md
The GGUF (GPT-Generated Unified Format) is the standard file format for llama.cpp, enabling efficient inference on CPUs, Apple Silicon, and GPUs with flexible quantization options.
| Type | Bits | Size (7B) | Quality | Use Case |
| Q2K | 2.5 | 2.8 GB | Low | Extreme compression | | Q3KS | 3.0 | 3.0 GB | Low-Med | Memory constrained | | Q3KM | 3.3 | 3.3 GB | Medium | Balance | | Q4KS | 4.0 | 3.8 GB | Med-High | Good balance | | Q4KM | 4.5 | 4.1 GB | High | Recommended default | | Q5KS | 5.0 | 4.6 GB | High | Quality focused | | Q5KM | 5.5 | 4.8 GB | Very High | High quality |
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-11
- 更新时间
- 2026-02-18
快速解答
什么是 gguf-quantization？
GGUF 格式和 llama.cpp 量化可实现高效的 CPU/GPU 推理。在消费类硬件、Apple Silicon 上部署模型时，或者需要从 2-8 位进行灵活量化且无需 GPU 时使用。 来源：orchestra-research/ai-research-skills。
如何安装 gguf-quantization？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/orchestra-research/ai-research-skills
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-11