gptq
LLM 的訓練後 4 位量化，精度損失最小。當您需要 4 倍內存減少且困惑度降低 <2% 時，或者需要比 FP16 更快的推理（3-4 倍加速）時，可用於在消費類 GPU 上部署大型模型（70B、405B）。與變壓器和 PEFT 集成以進行 QLoRA 微調。
SKILL.md
Post-training quantization method that compresses LLMs to 4-bit with minimal accuracy loss using group-wise quantization.
| Group Size | Model Size | Accuracy | Speed | Recommendation |
| -1 (per-column) | Smallest | Best | Slowest | Research only | | 32 | Smaller | Better | Slower | High accuracy needed | | 128 | Medium | Good | Fast | Recommended default | | 256 | Larger | Lower | Faster | Speed critical | | 1024 | Largest | Lowest | Fastest | Not recommended |
LLM 的訓練後 4 位量化，精度損失最小。當您需要 4 倍內存減少且困惑度降低 <2% 時，或者需要比 FP16 更快的推理（3-4 倍加速）時，可用於在消費類 GPU 上部署大型模型（70B、405B）。與變壓器和 PEFT 集成以進行 QLoRA 微調。 來源：ovachiever/droid-tings。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/ovachiever/droid-tings --skill gptq- 分類
- </>開發工具
- 認證
- —
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 gptq？
LLM 的訓練後 4 位量化，精度損失最小。當您需要 4 倍內存減少且困惑度降低 <2% 時，或者需要比 FP16 更快的推理（3-4 倍加速）時，可用於在消費類 GPU 上部署大型模型（70B、405B）。與變壓器和 PEFT 集成以進行 QLoRA 微調。 來源：ovachiever/droid-tings。
如何安裝 gptq？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/ovachiever/droid-tings --skill gptq 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/ovachiever/droid-tings
詳情
- 分類
- </>開發工具
- 來源
- user
- 收錄時間
- 2026-02-01