GenSelect: 一种生成最佳之 N 的方法-计算机科学-机器学习-生成奖励模型-数学推理.pdfVIP

GenSelect:一种生成最佳之的方法

11111

ShubhamToshniwalIvanSorokinAleksanderFicekIvanMoshkovIgorGitman

AbstractRMs）的有效性，这些模型提供了另一个利用测试

生成奖励模型与并行采样相结合，已在推时计算的维度～(Zhangetal.,2025a;Mahanetal.,

理任务的测试时扩展中发挥了有效作用。2024)。此外，最近的研究表明这些生成验证和

当前的方法采用对单个解决方案进行点评奖励模型也受益于扩展推理(Chenetal.,2025;

分或成对比较。然而，点评方法未能充分Guoetal.,2025)。

利用大语言模型的比较能力，而成对比较这些生成奖励模型主要通过两种不同的评估范式

本方法在较大的采样预算下扩展效率较低。运行：逐点评估，其中模型单独评估每个候选输

译我们引入了GenSelect，在此模型中，大语出～(Zhangetal.,2025a)，以及成对比较，其中模

中言模型使用长推理从个候选者中选择型相对于彼此评估候选对～(Mahanetal.,2024)。

最佳解决方案。这利用了大语言模型的比虽然点对点GenRMs很容易与并行采样策略兼容，

1较优势，并能有效地跨越并行采样预算进但它们受限于LLM在验证任务中的内在限制～

v

7行扩展。对于数学推理，我们展示了诸如(Tyenetal.,2024;Zhaoetal.,2025)。相反，成对

9

7呕呕呕和深度探索-R1-0528等推理模型在的GenRMs利用了LLM的比较优势，但将它们扩

7GenSelect中表现出色，通过简单的提示超展到更大的候选池是非平凡的～(Liuetal.,2024)。

1

7.越现有的评分方法。计算复杂性在执行详尽的成对比较时变得特别难

0以承受，需要进行次评估来排名个候选

5

21.介绍者(Jiangetal.,2023)。近似方法如成对淘汰赛可

:

v以将计算量减少到但会增加延迟

i测试时缩放已成为增强大型语言模型在推理任务倍(Liuetal.,2025a)。当使用基于推理的生成奖

x

r上性能的强大范式～(OpenAI,2024;DeepSeek-AI,

a励模型进行此类成对比较时，这种计算负担进一步

2025)。此缩放方法利用了两种互补的机制：顺序缩加剧。

放，该机制使用长推理模型，以及并行采样，该机制

为了解决这些限制，我们提出了GenSelect，在该方

生成多个独立候选解决方案～(Snelletal.,2025)。

法中，大语言模型的任务是根据个候选解决方案

并