peft-fine-tuning

SKILL.md

Fine-tune LLMs by training <1% of parameters using LoRA, QLoRA, and 25+ adapter methods.

| Rank | Trainable Params | Memory | Quality | Use Case |

| 4 | 3M | Minimal | Lower | Simple tasks, prototyping | | 8 | 7M | Low | Good | Recommended starting point | | 16 | 14M | Medium | Better | General fine-tuning | | 32 | 27M | Higher | High | Complex tasks | | 64 | 54M | High | Highest | Domain adaptation, 70B models |

LoRA、QLoRA、および 25 以上のメソッドを使用した LLM のパラメータ効率の高い微調整。限られた GPU メモリで大規模なモデル (7B ～ 70B) を微調整する場合、精度損失を最小限に抑えて 1% 未満のパラメータをトレーニングする必要がある場合、またはマルチアダプターのサービスを行う場合に使用します。 HuggingFace の公式ライブラリはトランスフォーマーのエコシステムと統合されています。 ソース: orchestra-research/ai-research-skills。

原文を見る