Cuantiza LLM a 8 o 4 bits para una reducción de memoria del 50 al 75 % con una pérdida mínima de precisión. Úselo cuando la memoria de la GPU sea limitada, necesite adaptarse a modelos más grandes o desee una inferencia más rápida. Admite formatos INT8, NF4, FP4, entrenamiento QLoRA y optimizadores de 8 bits. Funciona con transformadores HuggingFace.
Instala rápidamente el skill de IA quantizing-models-bitsandbytes en tu entorno de desarrollo mediante línea de comandos
Fuente: ovachiever/droid-tings.
bitsandbytes reduces LLM memory by 50% (8-bit) or 75% (4-bit) with <1% accuracy loss.
| 8 GB | 3B | 4-bit | | 12 GB | 7B | 4-bit | | 16 GB | 7B | 8-bit or 4-bit | | 24 GB | 13B | 8-bit or 70B 4-bit | | 40+ GB | 70B | 8-bit |
QLoRA training guide: See references/qlora-training.md for complete fine-tuning workflows, hyperparameter tuning, and multi-GPU training.
Cuantiza LLM a 8 o 4 bits para una reducción de memoria del 50 al 75 % con una pérdida mínima de precisión. Úselo cuando la memoria de la GPU sea limitada, necesite adaptarse a modelos más grandes o desee una inferencia más rápida. Admite formatos INT8, NF4, FP4, entrenamiento QLoRA y optimizadores de 8 bits. Funciona con transformadores HuggingFace. Fuente: ovachiever/droid-tings.
Campos y comandos estables para citas de IA/búsqueda.
npx skills add https://github.com/ovachiever/droid-tings --skill quantizing-models-bitsandbytesCuantiza LLM a 8 o 4 bits para una reducción de memoria del 50 al 75 % con una pérdida mínima de precisión. Úselo cuando la memoria de la GPU sea limitada, necesite adaptarse a modelos más grandes o desee una inferencia más rápida. Admite formatos INT8, NF4, FP4, entrenamiento QLoRA y optimizadores de 8 bits. Funciona con transformadores HuggingFace. Fuente: ovachiever/droid-tings.
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/ovachiever/droid-tings --skill quantizing-models-bitsandbytes Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code, Cursor u OpenClaw
https://github.com/ovachiever/droid-tings