openrlhf-training

SKILL.md

OpenRLHF is a Ray-based RLHF framework optimized for distributed training with vLLM inference acceleration.

Workflow 1: Full RLHF pipeline (SFT → Reward Model → PPO)

Hybrid Engine GPU sharing: See references/hybrid-engine.md for vLLM sleep mode, DeepSpeed sleep mode, and optimal node allocation.

Hochleistungsfähiges RLHF-Framework mit Ray+vLLM-Beschleunigung. Verwendung für PPO-, GRPO-, RLOO- und DPO-Training großer Modelle (7B-70B+). Basierend auf Ray, vLLM, ZeRO-3. 2× schneller als DeepSpeedChat mit verteilter Architektur und gemeinsamer GPU-Ressourcennutzung. Quelle: orchestra-research/ai-research-skills.

Original anzeigen