推理微调重新定义了基础模型中的潜在表示-计算机科学-机器学习-推理微调-基础模型.pdfVIP

推理微调重新定义了基础模型中的潜在表示

*1*23

JakeWardChuqiaoLinConstantinVenhoffNeelNanda

Abstract能力来提升在推理密集型基准上的性能(Weietal.,

2022;Guoetal.,2025;Yeoetal.,2025;Yangetal.,

回溯，一种由推理微调引发的新兴行为，

2025;Yeetal.,2025)。这些模型往往会表现出一种被

已被证明是推理模型能力增强的关键机

称为回溯的新兴行为，在沿着一个推理路径前进或

制。先前的研究成功地通过引导矢量操纵

提出候选答案之后，模型会探索替代策略(Venhoff

了这种行为，但其底层机制仍未被充分理

etal.,2025)。实证研究表明，回溯的存在解释了基

解。在本研究中，我们展示了DeepSeek-R1-

础模型及其经过推理微调的对应模型之间的准确率

本Distill-Llama-8B中的回溯现象部分是由一差距的很大一部分(NiklasMuennighoff,2025)。

译个重新利用的方向已经在基础模型激活中

中存在驱动的。具体而言，我们在基础Llama-先前的工作表明，这种行为可以使用从被分类为回

3.1-8B的残差流中确定了一个方向，在用溯的句子中激活差异派生的控制向量可靠地诱导

1

v于引导蒸馏推理模型时系统地引发回溯，(Venhoffetal.,2025)。虽然Venhoff等人。已经

8并发现使用该方向进行引导的效果不能简表明，转向向量可以用来控制回溯行为，但这种行

3

6单地通过词元级别的属性来解释。我们进为背后的基本机制仍然知之甚少。

2

1一步发现这个方向不在基础模型中也能引在这项工作中，我们对回溯导向矢量进行了更深入

.

7起回溯，这表明推理微调过程重新利用了的研究，并探讨了它们在模型激活中的出现方式和

0

5现有表示以形成新的行为电路。此外，我位置。具体来说，我们发现可以通过（1）在偏移标

2们假设这个方向是几个可能协同工作的方记位置之前的回溯事件的激活，捕捉上游的相关概

:

v向之一，用于调节回溯现象。我们的研究结念；以及（2）仅从基础模型中采样的激活来计算一

i

x果提供了一个有说服力的图景，即推理微个回溯导向矢量，这表明回溯机制的部分基础来源

r

a调模型重新利用现有的基础模型表示，而于已经在基本模型激活中表示的概念（图1）。至关

不是从零开始学习新能力。重要的是，虽然这种表示同时被基本模型和推理模

型共享，但它只会在推理模型中引起回溯现象，暗

1.介绍示了它在推理微调过程中已被重新用于回溯机制的