quantizing-models-bitsandbytes

bitsandbytes reduces LLM memory by 50% (8-bit) or 75% (4-bit) with <1% accuracy loss.

| 8 GB | 3B | 4-bit | | 12 GB | 7B | 4-bit | | 16 GB | 7B | 8-bit or 4-bit | | 24 GB | 13B | 8-bit or 70B 4-bit | | 40+ GB | 70B | 8-bit |

QLoRA training guide: See references/qlora-training.md for complete fine-tuning workflows, hyperparameter tuning, and multi-GPU training.

将 LLM 量化为 8 位或 4 位，可减少 50-75% 的内存，同时将精度损失降至最低。当 GPU 内存有限、需要适应更大的模型或想要更快的推理时使用。支持 INT8、NF4、FP4 格式、QLoRA 训练和 8 位优化器。与 HuggingFace 变形金刚一起使用。 来源：ovachiever/droid-tings。