fine-tuning-with-trl

SKILL.md

TRL provides post-training methods for aligning language models with human preferences.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

SFT training guide: See references/sft-training.md for dataset formats, chat templates, packing strategies, and multi-GPU training.

TRL による強化学習を使用して LLM を微調整します。命令調整には SFT、好みの調整には DPO、報酬の最適化には PPO/GRPO、報酬モデルのトレーニングに使用します。 RLHF が必要な場合に使用したり、モデルを好みに合わせたり、人間のフィードバックからトレーニングしたりできます。ハギングフェイストランスフォーマーと連携します。 ソース: orchestra-research/ai-research-skills。

原文を見る