openrlhf-training

SKILL.md

OpenRLHF is a Ray-based RLHF framework optimized for distributed training with vLLM inference acceleration.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

Hybrid Engine GPU sharing: See references/hybrid-engine.md for vLLM sleep mode, DeepSpeed sleep mode, and optimal node allocation.

Marco RLHF de alto rendimiento con aceleración Ray+vLLM. Uso para entrenamiento PPO, GRPO, RLOO, DPO de modelos grandes (7B-70B+). Construido sobre Ray, vLLM, ZeRO-3. 2 veces más rápido que DeepSpeedChat con arquitectura distribuida y uso compartido de recursos de GPU. Fuente: orchestra-research/ai-research-skills.

Ver original