Quantifie les LLM à 8 bits ou 4 bits pour une réduction de mémoire de 50 à 75 % avec une perte de précision minimale. À utiliser lorsque la mémoire GPU est limitée, que vous devez adapter des modèles plus grands ou que vous souhaitez une inférence plus rapide. Prend en charge les formats INT8, NF4, FP4, la formation QLoRA et les optimiseurs 8 bits. Fonctionne avec les transformateurs HuggingFace.
Installez rapidement le skill IA quantizing-models-bitsandbytes dans votre environnement de développement via la ligne de commande
Source : ovachiever/droid-tings.
bitsandbytes reduces LLM memory by 50% (8-bit) or 75% (4-bit) with <1% accuracy loss.
| 8 GB | 3B | 4-bit | | 12 GB | 7B | 4-bit | | 16 GB | 7B | 8-bit or 4-bit | | 24 GB | 13B | 8-bit or 70B 4-bit | | 40+ GB | 70B | 8-bit |
QLoRA training guide: See references/qlora-training.md for complete fine-tuning workflows, hyperparameter tuning, and multi-GPU training.
Quantifie les LLM à 8 bits ou 4 bits pour une réduction de mémoire de 50 à 75 % avec une perte de précision minimale. À utiliser lorsque la mémoire GPU est limitée, que vous devez adapter des modèles plus grands ou que vous souhaitez une inférence plus rapide. Prend en charge les formats INT8, NF4, FP4, la formation QLoRA et les optimiseurs 8 bits. Fonctionne avec les transformateurs HuggingFace. Source : ovachiever/droid-tings.
Champs et commandes stables pour les citations IA/recherche.
npx skills add https://github.com/ovachiever/droid-tings --skill quantizing-models-bitsandbytesQuantifie les LLM à 8 bits ou 4 bits pour une réduction de mémoire de 50 à 75 % avec une perte de précision minimale. À utiliser lorsque la mémoire GPU est limitée, que vous devez adapter des modèles plus grands ou que vous souhaitez une inférence plus rapide. Prend en charge les formats INT8, NF4, FP4, la formation QLoRA et les optimiseurs 8 bits. Fonctionne avec les transformateurs HuggingFace. Source : ovachiever/droid-tings.
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/ovachiever/droid-tings --skill quantizing-models-bitsandbytes Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code, Cursor ou OpenClaw
https://github.com/ovachiever/droid-tings