peft-fine-tuning

SKILL.md

Fine-tune LLMs by training <1% of parameters using LoRA, QLoRA, and 25+ adapter methods.

| Rank | Trainable Params | Memory | Quality | Use Case |

| 4 | 3M | Minimal | Lower | Simple tasks, prototyping | | 8 | 7M | Low | Good | Recommended starting point | | 16 | 14M | Medium | Better | General fine-tuning | | 32 | 27M | Higher | High | Complex tasks | | 64 | 54M | High | Highest | Domain adaptation, 70B models |

LoRA, QLoRA 및 25개 이상의 방법을 사용하여 LLM에 대한 매개변수 효율적인 미세 조정. GPU 메모리가 제한된 대규모 모델(7B-70B)을 미세 조정할 때, 정확도 손실을 최소화하면서 1% 미만의 매개변수를 학습해야 할 때 또는 다중 어댑터 제공에 사용하세요. HuggingFace의 공식 라이브러리는 Transformers 생태계와 통합되어 있습니다. 출처: orchestra-research/ai-research-skills.

원본 보기