qlora

SKILL.md

QLoRA enables fine-tuning of large language models on consumer GPUs by combining 4-bit quantization with LoRA adapters. A 65B model can be fine-tuned on a single 48GB GPU while matching 16-bit fine-tuning performance.

Prerequisites: This skill assumes familiarity with LoRA. See the lora skill for LoRA fundamentals (LoraConfig, targetmodules, training patterns).

QLoRA introduces three techniques that reduce memory usage without sacrificing performance:

Réglage fin économe en mémoire avec quantification 4 bits et adaptateurs LoRA. À utiliser lors du réglage fin de grands modèles (7B+) sur des GPU grand public, lorsque la VRAM est limitée ou lorsque la LoRA standard dépasse encore la mémoire. S'appuie sur la compétence lora. Source : itsmostafa/llm-engineering-skills.

Voir l'original