openrlhf-training

SKILL.md

OpenRLHF is a Ray-based RLHF framework optimized for distributed training with vLLM inference acceleration.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

Hybrid Engine GPU sharing: See references/hybrid-engine.md for vLLM sleep mode, DeepSpeed sleep mode, and optimal node allocation.

Framework RLHF hautes performances avec accélération Ray+vLLM. Utilisation pour la formation PPO, GRPO, RLOO, DPO de grands modèles (7B-70B+). Construit sur Ray, vLLM, ZeRO-3. 2 fois plus rapide que DeepSpeedChat avec une architecture distribuée et le partage des ressources GPU. Source : orchestra-research/ai-research-skills.

Voir l'original