awq-quantization

SKILL.md

4-bit quantization that preserves salient weights based on activation patterns, achieving 3x speedup with minimal accuracy loss.

Timing: 10-15 min for 7B, 1 hour for 70B models.

| Speedup (4-bit) | 2.5-3x | 2x | 1.5x | | Accuracy loss | <5% | 5-10% | 5-15% | | Calibration | Minimal (128-1K tokens) | More extensive | None | | Overfitting risk | Low | Higher | N/A | | Best for | Production inference | GPU inference | Easy integration | | vLLM support | Native | Yes | Limited |

3배의 속도 향상과 최소한의 정확도 손실로 4비트 LLM 압축을 위한 활성화 인식 가중치 양자화입니다. 제한된 GPU 메모리에 대규모 모델(7B-70B)을 배포할 때, 더 나은 정확도 보존으로 GPTQ보다 빠른 추론이 필요한 경우 또는 명령 조정 및 다중 모드 모델에 사용합니다. MLSys 2024 최우수 논문상 수상자. 출처: orchestra-research/ai-research-skills.

원본 보기