fine-tuning-with-trl

SKILL.md

TRL provides post-training methods for aligning language models with human preferences.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

SFT training guide: See references/sft-training.md for dataset formats, chat templates, packing strategies, and multi-GPU training.

使用强化学习对法学硕士进行微调，TRL - SFT 用于指令调整，DPO 用于偏好调整，PPO/GRPO 用于奖励优化，以及奖励模型训练。在需要 RLHF 时使用，根据偏好调整模型，或根据人类反馈进行训练。与 HuggingFace 变形金刚一起使用。 来源：orchestra-research/ai-research-skills。

查看原文