llama-cpp
✓在 CPU、Apple Silicon 和消費類 GPU 上運行 LLM 推理，無需 NVIDIA 硬件。用於邊緣部署、M1/M2/M3 Mac、AMD/Intel GPU 或 CUDA 不可用時。支持 GGUF 量化（1.5-8 位），以減少內存，與 CPU 上的 PyTorch 相比，速度提高 4-10 倍。
SKILL.md
Pure C/C++ LLM inference with minimal dependencies, optimized for CPUs and non-NVIDIA hardware.
| Format | Bits | Size (7B) | Speed | Quality | Use Case |
| Q4KM | 4.5 | 4.1 GB | Fast | Good | Recommended default | | Q4KS | 4.3 | 3.9 GB | Faster | Lower | Speed critical | | Q5KM | 5.5 | 4.8 GB | Medium | Better | Quality critical | | Q6K | 6.5 | 5.5 GB | Slower | Best | Maximum quality | | Q80 | 8.0 | 7.0 GB | Slow | Excellent | Minimal degradation | | Q2K | 2.5 | 2.7 GB | Fastest | Poor | Testing only |
在 CPU、Apple Silicon 和消費類 GPU 上運行 LLM 推理，無需 NVIDIA 硬件。用於邊緣部署、M1/M2/M3 Mac、AMD/Intel GPU 或 CUDA 不可用時。支持 GGUF 量化（1.5-8 位），以減少內存，與 CPU 上的 PyTorch 相比，速度提高 4-10 倍。 來源：ovachiever/droid-tings。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/ovachiever/droid-tings --skill llama-cpp- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 llama-cpp？
在 CPU、Apple Silicon 和消費類 GPU 上運行 LLM 推理，無需 NVIDIA 硬件。用於邊緣部署、M1/M2/M3 Mac、AMD/Intel GPU 或 CUDA 不可用時。支持 GGUF 量化（1.5-8 位），以減少內存，與 CPU 上的 PyTorch 相比，速度提高 4-10 倍。 來源：ovachiever/droid-tings。
如何安裝 llama-cpp？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/ovachiever/droid-tings --skill llama-cpp 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/ovachiever/droid-tings
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-01