peft-fine-tuning

SKILL.md

Fine-tune LLMs by training <1% of parameters using LoRA, QLoRA, and 25+ adapter methods.

| Rank | Trainable Params | Memory | Quality | Use Case |

| 4 | 3M | Minimal | Lower | Simple tasks, prototyping | | 8 | 7M | Low | Good | Recommended starting point | | 16 | 14M | Medium | Better | General fine-tuning | | 32 | 27M | Higher | High | Complex tasks | | 64 | 54M | High | Highest | Domain adaptation, 70B models |

使用 LoRA、QLoRA 和 25 種以上方法對 LLM 進行參數高效的微調。當使用有限的 GPU 記憶體微調大型模型 (7B-70B)、需要以最小的精度損失訓練 <1% 的參數或用於多適配器服務時，請使用。 HuggingFace 的官方庫與 Transformer 生態系統整合。 來源：orchestra-research/ai-research-skills。

查看原文