simpo-training

SKILL.md

SimPO is a reference-free preference optimization method that outperforms DPO without needing a reference model.

Loss functions: See references/loss-functions.md for sigmoid vs hinge loss, mathematical formulations, and when to use each.

Hyperparameter tuning: See references/hyperparameters.md for beta, gamma, learning rate selection guide, and model-size-specific recommendations.

Optimización de preferencias simple para la alineación LLM. Alternativa sin referencias a DPO con mejor rendimiento (+6,4 puntos en AlpacaEval 2.0). No se necesita ningún modelo de referencia, más eficiente que DPO. Úselo para alinear preferencias cuando desee una capacitación más simple y rápida que DPO/PPO. Fuente: orchestra-research/ai-research-skills.

Ver original