simpo-training

SKILL.md

SimPO is a reference-free preference optimization method that outperforms DPO without needing a reference model.

Loss functions: See references/loss-functions.md for sigmoid vs hinge loss, mathematical formulations, and when to use each.

Hyperparameter tuning: See references/hyperparameters.md for beta, gamma, learning rate selection guide, and model-size-specific recommendations.

Optimisation simple des préférences pour l’alignement LLM. Alternative sans référence au DPO avec de meilleures performances (+6,4 points sur AlpacaEval 2.0). Aucun modèle de référence nécessaire, plus efficace que le DPO. À utiliser pour l'alignement des préférences lorsque vous souhaitez une formation plus simple et plus rapide que DPO/PPO. Source : orchestra-research/ai-research-skills.

Voir l'original