OpenRLHF

OpenRLHF는 Ray + vLLM 분산 구조로 70B 이상 모델까지 확장되는 오픈소스 RLHF 프레임워크다. vLLM으로 생성 병목을 줄이고 DeepSpeed ZeRO-3로 HuggingFace 체크포인트를 변환 없이 학습한다. PPO·REINFORCE++·GRPO·RLOO 등 알고리즘을 플래그 하나로 바꿀 수 있고, 단일 턴 보상과 멀티 턴 에이전트 환경을 지원한다. SFT·보상 모델·DPO 학습과 시각-언어 모델(VLM) RLHF도 지원한다.

• Ray + vLLM 분산 구조(70B+ 모델)
• PPO·REINFORCE++·GRPO·RLOO 등 RL 알고리즘 전환
• 하이브리드 엔진(같은 GPU에 Actor·Critic·Reward·vLLM 공존)
• 비동기 학습·부분 롤아웃
• 커스텀 보상 함수·멀티 턴 에이전트 환경
• 시각-언어 모델(VLM) RLHF
• SFT·보상 모델·DPO, LoRA·QLoRA, SLURM 멀티 노드

오픈소스 + 클라우드 매니지드 유료 플랜

오픈소스 버전은 무료 자체호스팅 가능, 매니지드 클라우드 서비스는 사용량/시트 기반 유료

AI 지식 기반 추정 - 공식 사이트 확인 권장

• MLOps 및 학습 분야 AI 45개 가운데 하나예요.
• 다른 도구와 연결된 수 3개 — 같은 분야에서 38위예요.