fine-tuning-with-trl

SKILL.md

TRL provides post-training methods for aligning language models with human preferences.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

SFT training guide: See references/sft-training.md for dataset formats, chat templates, packing strategies, and multi-GPU training.

Optimieren Sie LLMs mithilfe von Reinforcement Learning mit TRL – SFT zur Anweisungsoptimierung, DPO zur Präferenzausrichtung, PPO/GRPO zur Belohnungsoptimierung und Belohnungsmodelltraining. Verwenden Sie bei Bedarf RLHF, richten Sie das Modell an Präferenzen aus oder trainieren Sie anhand von menschlichem Feedback. Funktioniert mit HuggingFace Transformers. Quelle: orchestra-research/ai-research-skills.

Original anzeigen