fine-tuning-with-trl

SKILL.md

TRL provides post-training methods for aligning language models with human preferences.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

SFT training guide: See references/sft-training.md for dataset formats, chat templates, packing strategies, and multi-GPU training.

使用強化學習對法學碩士進行微調，TRL - SFT 用於指令調整，DPO 用於偏好調整，PPO/GRPO 用於獎勵優化，以及獎勵模型訓練。在需要 RLHF 時使用，根據偏好調整模型，或根據人類回饋進行訓練。與 HuggingFace 變形金剛一起使用。 來源：orchestra-research/ai-research-skills。

查看原文