大型推理模型高效 GRPO 训练的预测缩放定律-计算机科学-大语言模型-策略优化.pdfVIP

大型推理模型高效GRPO训练的预测缩放定律

∗∗

DattaNimmaturi,VaishnaviBhargava,RajatGhosh,JohnuGeorge,DebojyotiDutta

NutanixInc.

{vaishnavi.bhargava,rajat.ghosh,johnu.george,debojyoti.dutta}@,

venkatadattasainimmaturi@

Abstract为了解决这一差距，大型推理模型（LRMs）作为

一种专门的模型类别出现，这些模型集成了先进的技

对大型语言模型（LLMs）进行微调以处理复杂的推理任

术，包括思维链（CoT）提示、强化学习和侧重于推理

务需要大量的计算资源，特别是在采用强化学习方法如

组相对策略优化（GRPO）时。这种计算负担要求更有的数据集，以增强逻辑问题解决能力。

效的训练策略，以便让具备推理能力的模型能够被更广与传统的LLM主要在训练期间集中计算资源以优

本泛的研究社区所使用。化下一个词的预测不同，LRM战略性地重新分配大量

译我们通过开发一个预测框架来应对这一挑战，该框架能计算资源到推理阶段。这种范式转变使得模型部署过程

中够更好地理解和优化GRPO训练过程中的推理任务。通中能够进行更加周密和结构化的推理过程，代表了我们

过对多个模型架构——Llama3B/8B和Qwen3B/7B参对待语言模型优化方法的根本变化。

1数——进行全面的实验，我们系统地比较了各种微调技

v

4术，并得出了一些经验性的缩放规律，这些规律可以预当前的推理增强方法

1测GRPO训练期间模型奖励的变化轨迹。

0我们的缩放定律整合了三个关键因素：模型规模、初始当代推理增强策略可以广泛分为两种互补的方法：

8以输出为中心和以输入为中心的方法。

1性能和训练进展，从而能够准确预测性能平台期和收敛

7.阶段。我们的实验结果揭示了所有测试模型中一致的S以输出为中心的方法以输出为重点的方法为给定输

0形学习曲线，其特征为三个不同的阶段：初期缓慢进步、入生成多个候选解决方案，并使用各种选择机制来识别

5快速改进以及最终达到平台期。

2最优响应。这些方法包括：

:值得注意的是，我们在收敛点之后继续训练（大约一个

v周期的40%）只会带来微小的性能提升，同时消耗大量•多数投票通过选择采样输出中出现频率最高的答案

i

x的计算资源。得出的缩放规律准确预测了这些相变，使来利用集体协议。

r

a得能够做出有根据的资源配置决策。•最优的N次采样生成N个候选响应，并根据奖励模

本工作提供了一个量化框架，用于优化推理任务中的型选择得分最高的解决方案，该奖励模型可能是侧

GRPO训练效率。通过提前预测性能平台期，研究人重最终正确性的结果奖励模型，也可能是评估完整

员可以基于数据做出关于训练时长的决策，避免过度训推理轨迹的过程奖励模型。然而，过程奖励模型需要

练造成的浪费同时保持模型质量。我们的方