awq-quantization

SKILL.md

4-bit quantization that preserves salient weights based on activation patterns, achieving 3x speedup with minimal accuracy loss.

Timing: 10-15 min for 7B, 1 hour for 70B models.

| Speedup (4-bit) | 2.5-3x | 2x | 1.5x | | Accuracy loss | <5% | 5-10% | 5-15% | | Calibration | Minimal (128-1K tokens) | More extensive | None | | Overfitting risk | Low | Higher | N/A | | Best for | Production inference | GPU inference | Easy integration | | vLLM support | Native | Yes | Limited |

用於 4 位元 LLM 壓縮的激活感知權重量化，加速速度提高 3 倍，精度損失最小。當在有限的 GPU 記憶體上部署大型模型 (7B-70B) 時、當您需要比 GPTQ 更快的推理速度和更好的精度保留時，或者用於指令調整和多模態模型時，請使用。 MLSys 2024 最佳論文獎得主。 來源：orchestra-research/ai-research-skills。

查看原文