peft-fine-tuning

SKILL.md

Fine-tune LLMs by training <1% of parameters using LoRA, QLoRA, and 25+ adapter methods.

| Rank | Trainable Params | Memory | Quality | Use Case |

| 4 | 3M | Minimal | Lower | Simple tasks, prototyping | | 8 | 7M | Low | Good | Recommended starting point | | 16 | 14M | Medium | Better | General fine-tuning | | 32 | 27M | Higher | High | Complex tasks | | 64 | 54M | High | Highest | Domain adaptation, 70B models |

Ajustement précis des paramètres pour les LLM à l'aide des méthodes LoRA, QLoRA et plus de 25. À utiliser lors du réglage fin de grands modèles (7B-70B) avec une mémoire GPU limitée, lorsque vous devez entraîner <1 % des paramètres avec une perte de précision minimale, ou pour le service multi-adaptateurs. La bibliothèque officielle de HuggingFace intégrée à l'écosystème des transformateurs. Source : orchestra-research/ai-research-skills.

Voir l'original