fine-tuning-with-trl

SKILL.md

TRL provides post-training methods for aligning language models with human preferences.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

SFT training guide: See references/sft-training.md for dataset formats, chat templates, packing strategies, and multi-GPU training.

Affinez les LLM à l'aide de l'apprentissage par renforcement avec TRL - SFT pour le réglage des instructions, DPO pour l'alignement des préférences, PPO/GRPO pour l'optimisation des récompenses et la formation du modèle de récompense. Utilisez en cas de besoin RLHF, alignez le modèle avec les préférences ou entraînez-vous à partir des commentaires humains. Fonctionne avec les transformateurs HuggingFace. Source : orchestra-research/ai-research-skills.

Voir l'original