从变异性到准确性：条件伯努利扩散模型与共识驱动校正用于薄结构分割-计算机科学-扩散模型-计算机断层扫描.pdfVIP

VAR-MATH：通过符号多实例基准测试探究大型语言模型中

的真正数学推理能力

JianYao,RanCheng,andKayChenTan

DepartmentofDataScienceandArtificialIntelligence

TheHongKongPolytechnicUniversity,HongKongSAR,China

{nigel97.yao@connect.polyu.hk,ranchengcn@,kctan@.hk}

本

译ABSTRACT

中近期强化学习（RL）领域的进展显著提高了大型语言模型（LLMs）的数学推理能力，这在标

准基准测试中得到了体现。然而，即使使用随机或反转奖励等错误信号训练模型时，这些改

1进仍然存在，这引发了一个根本性的问题：这种改进是否反映了真实的推理能力，还是仅仅

v

5是过度拟合特定基准模式的结果？为了解决这个问题，我们从评估中心的角度出发，并确定

8了现有协议中的两个关键缺点。首先，基准污染是由于测试问题的公共可用性导致的数据泄

8

2露风险增加所致。其次，评估脆弱性来自于依赖单次实例评估，这种评估对随机输出非常敏

1感，且无法捕捉推理的一致性。为克服这些限制，我们引入了变量数学，这是一个旨在探究

.

7真正推理能力的符号评估框架。通过将固定数值问题转换成符号模板，并要求模型解决每个

0变体的多个实例，VAR-MATH在结构等效变体之间强制执行一致的推理，从而减轻污染并

5

2提高评估稳健性。我们使用VAR-MATH将两个流行的基准测试AMC23和AIME24转换为

:它们的符号对应版本VAR-AMC23和VAR-AIME24。实验结果显示，RL训练模型在变量化

v

i版本上的性能显著下降，尤其是对于较小规模的模型，在AMC23上平均下降了48.0%，在

x

rAIME24上则下降了58.3%。这些发现表明许多现有的RL方法依赖于表面启发法，并且无

a

法超越特定数值形式进行泛化。总体而言，VAR-MATH提供了一个原则性、抗污染的数学

推理评估范式。所有数据集和工具均可在/nigelyaoj/VAR-MATH公开

获得。

Keywords大型语言模型强化学习推理数学基准测试

1介绍

大型语言模型（LLMs）的必威体育精装版进展在数学推理任务方面取得了显著改进。诸如OpenAI-o1[1],DeepSeek-R1[2]

和Kimi-k1.5[3]等模型已经在一系列公共基准测试中达到了最先进的结果。这一进步的关键因素是越来越多

地从传统的监督微调（SFT）转向强化学习（RL），这已成为将模型输出与期望推理行为对齐的主要策略。像

DeepSeek-R1这样的模型的出色表现激发了大量研究，这些研究通常沿着两个方向进行。一个重点是通过过

滤、去重和验证管道来提高数据质量[4,5,6,7]。另一个重心在于优化RL算法本身，包括对PPO[8,9]的优

化、扩展GRPO变体[10,11,12]、用于探索的熵正则化方法[13,14,15]以及替代范式如REINFORCE++[16]。

然而，伴随着这一进展，越来越多的证据引发了人们对这些成果真正代表什么的担忧。最近的研究表明，使

用有缺陷甚至对抗性的奖励信号训练的模型仍然可以在标准数学基准测试中取得令人惊讶的好成绩[17]。例

如，仅基于输出格式（如表达式的存在）的奖励可以提高分数，而不管正确性如何。更引人注目的是，使用