OpenRLHF-一个易于使用、可扩展且高性能的 RLHF 框架-计算机科学-大语言模型-人类反馈的强化学习.pdfVIP

OpenRLHF：一个易于使用、可扩展且高性能的RLHF框架

JianHu,XibinWu,WeiShen,JasonKleinLiu,ZilinZhu,

WeixunWang,SonglinJiang,HaoranWang,HaoChen,

BinChen,WeikaiFang,Xianyu,YuCao,HaotianXu*

Team

janhu9527@

摘要etal.,2017;Stiennonetal.,2020;Guoetal.,2025;

Shenetal.,2025)。这些方法使模型能够更好

大型语言模型（LLMs）通过人类反馈的强

地符合人类意图和价值观，同时实现更优的推

本化学习（RLHF）和可验证奖励的强化学习理性能。值得注意的是，诸如GPT-4(Achiam

译（RLVR）进行微调，显著提高了人与AI价etal.,2023)、DeepSeek-R1(Guoetal.,2025)和

中值观的一致性，并进一步提升了AI能力的Claude(Askelletal.,2021)等模型在复杂的推理

上限，特别是在需要大量推理、长上下文

4

v链式思维(long-CoT)任务中。任务中表现出色，能够生成详细的分步理由，

2然而，现有的RLHF（或RLVR）框架通常通常称为思维链（CoT）输出。

6

2面临诸如推理瓶颈和复杂性障碍等挑战，然而，RLHF和RLVR训练方法——特别

3

0限制了新手的可访问性。为了解决这一差是那些采用近端策略优化（PPO）的方法——

.

1距，我们介绍了开放RLHF，这是一个基面临着显著的计算挑战。特别是在推理阶段，

0于Ray、vLLM、DeepSpeed和HuggingFace

5通常占到了整个RLHF（或RLVR）运行时间

2Transformers构建的用户友好型、可扩展

:的90%以上，因为模型需要在每次推理步骤中

v且易于学习的开源RLHF框架，其设计简

i生成数千个标记。因此，对于能够减少推理开

x洁、代码结构清晰，并配有全面文档以促

r进研究人员和实践者的入门。实验结果表销并简化分布式RLHF和RLVR训练工作流程

a

明，OpenRLHF在不同模型大小下的训练的有效且可扩展框架的需求正在不断增加。

效率优于最先进的框架，速度提升范围为现有的RLHF和RLVR系统，如DeepSpeed-

1.22Œ到1.68Œ，同时实现所需代码行数显Chat(Yaoetal.,2023)、TRL(vonWerraetal.,

著减