awq-quantization

4-bit quantization that preserves salient weights based on activation patterns, achieving 3x speedup with minimal accuracy loss.

Timing: 10-15 min for 7B, 1 hour for 70B models.

| Speedup (4-bit) | 2.5-3x | 2x | 1.5x | | Accuracy loss | <5% | 5-10% | 5-15% | | Calibration | Minimal (128-1K tokens) | More extensive | None | | Overfitting risk | Low | Higher | N/A | | Best for | Production inference | GPU inference | Easy integration | | vLLM support | Native | Yes | Limited |

تقدير الوزن المدرك للتنشيط لضغط LLM 4 بت مع تسريع 3x والحد الأدنى من فقدان الدقة. يُستخدم عند نشر نماذج كبيرة (7B-70B) على ذاكرة GPU محدودة، عندما تحتاج إلى استدلال أسرع من GPTQ مع الحفاظ على الدقة بشكل أفضل، أو للنماذج المضبوطة للتعليمات والمتعددة الوسائط. الحائز على جائزة MLSys 2024 لأفضل ورقة. المصدر: orchestra-research/ai-research-skills.