simpo-training

SKILL.md

SimPO is a reference-free preference optimization method that outperforms DPO without needing a reference model.

Loss functions: See references/loss-functions.md for sigmoid vs hinge loss, mathematical formulations, and when to use each.

Hyperparameter tuning: See references/hyperparameters.md for beta, gamma, learning rate selection guide, and model-size-specific recommendations.

Einfache Präferenzoptimierung für die LLM-Ausrichtung. Referenzfreie Alternative zu DPO mit besserer Leistung (+6,4 Punkte bei AlpacaEval 2.0). Kein Referenzmodell erforderlich, effizienter als DPO. Verwenden Sie diese Option zur Präferenzausrichtung, wenn Sie ein einfacheres und schnelleres Training als DPO/PPO wünschen. Quelle: orchestra-research/ai-research-skills.

Original anzeigen