REINFORCE++: 一种对提示和奖励模型都具有鲁棒性的高效 RLHF 算法-计算机科学-基于人类反馈的强化学习-近端策略优化-算法.pdfVIP

Preprint.Underreview.

REINFORCE++:一种对提示和奖励模型都具有鲁棒性的高效

RLHF算法

JianHuJasonKleinLiu

janhu9527@jasonkleinlove@

WeiShen

shenwei0917@126.com

Abstract

基于人类反馈的强化学习（RLHF）在将大型语言模型（LLMs）与人类价值

本观和偏好对齐方面至关重要。虽然像ChatGPT/GPT-4这样的最先进应用通

译常采用近端策略优化（PPO），但引入批评网络会带来显著的计算开销。基

于REINFORCE的方法，如REINFORCELeaveOne-Out(RLOO)、ReMax和

中GroupRelativePolicyOptimization(GRPO)，通过消除批评网络解决了这一

5限制。然而，这些方法在准确的优势估计方面面临挑战。具体来说，它们独

v立地为每个提示响应估计优势，这可能导致过度拟合更简单的提示，并容

2

6易受到奖励操纵的影响。为了解决这些问题，我们引入了REINFORCE++，

2这是一种新颖的方法，它去掉了批评模型，同时使用批量的标准化奖励作

3

0为基准。我们的实证评估表明，REINFORCE++在各种奖励模型上表现出稳

1.健的表现，而无需截断提示集。此外，在RLHF和长链式思维（CoT）设置

0中，与基于REINFORCE的方法相比，它实现了更好的泛化能力。实现可在

5

2/OpenRLHF/OpenRLHF获得。

:

v

i

x1介绍

r

a

基于人类反馈的强化学习（RLHF）是使大型语言模型（LLMs）与人类价值观和偏好对齐的

关键技术(Vempralaetal.,2023;Achiametal.,2023;Ouyangetal.,2022a;ShenZhang,2024)。

尽管出现了DPO等非RL替代方法(Rafailovetal.,2023)，最先进的应用如ChatGPT/GPT-

4(Vempralaetal.,2023;OpenAI,2023)、Claude(Anthropic,2023)和Gemini(Teametal.,2023)

仍然依赖于强化学习算法，特别是PPO，用于策略优化。然而，PPO(Schulmanetal.,2017)

需要一个批评网络，这引入了显著的计算开销和内存需求，限制了在小型集群中对大型模型

进行对齐。为了解决这一问题，研究人员提出了多种基于REINFORCE的方法来消除批评家

网络，包括ReMax(Lietal.,2023)、REINFORCELeaveOne-Out(RLOO)(Wuetal.,2024)和

GroupRelativePolicyOptimization(GRPO)(Shaoetal.,2024)。此外，在长形式CoT设置下，

Deepseek-R1展示了基于REINFORCE方法