awq-quantization

SKILL.md

4-bit quantization that preserves salient weights based on activation patterns, achieving 3x speedup with minimal accuracy loss.

Timing: 10-15 min for 7B, 1 hour for 70B models.

| Speedup (4-bit) | 2.5-3x | 2x | 1.5x | | Accuracy loss | <5% | 5-10% | 5-15% | | Calibration | Minimal (128-1K tokens) | More extensive | None | | Overfitting risk | Low | Higher | N/A | | Best for | Production inference | GPU inference | Easy integration | | vLLM support | Native | Yes | Limited |

アクティベーションを意識した重み量子化による 4 ビット LLM 圧縮により、3 倍のスピードアップと最小限の精度損失が実現します。限られた GPU メモリに大規模なモデル (7B ～ 70B) をデプロイする場合、精度を維持しながら GPTQ よりも高速な推論が必要な場合、または命令調整されたマルチモーダル モデルに使用します。 MLSys 2024 Best Paper Award受賞。 ソース: orchestra-research/ai-research-skills。

原文を見る