quantizing-models-bitsandbytes

SKILL.md

bitsandbytes reduces LLM memory by 50% (8-bit) or 75% (4-bit) with <1% accuracy loss.

| 8 GB | 3B | 4-bit | | 12 GB | 7B | 4-bit | | 16 GB | 7B | 8-bit or 4-bit | | 24 GB | 13B | 8-bit or 70B 4-bit | | 40+ GB | 70B | 8-bit |

QLoRA training guide: See references/qlora-training.md for complete fine-tuning workflows, hyperparameter tuning, and multi-GPU training.

Quantifie les LLM à 8 bits ou 4 bits pour une réduction de mémoire de 50 à 75 % avec une perte de précision minimale. À utiliser lorsque la mémoire GPU est limitée, que vous devez adapter des modèles plus grands ou que vous souhaitez une inférence plus rapide. Prend en charge les formats INT8, NF4, FP4, la formation QLoRA et les optimiseurs 8 bits. Fonctionne avec les transformateurs HuggingFace. Source : orchestra-research/ai-research-skills.

Voir l'original