潜在的思维链？解码深度递归变换器-计算机科学-人工智能-思维链-大语言模型.pdfVIP

Preprint.Underreview.

潜在的思维链？解码深度递归变压器

11112

WenquanLu,YuechuanYang,KyleLee,YanshuLi,EnqiLiu

1BrownUniversity,2HarvardUniversity

wenquan_lu@

Abstract

思维链（CoT）推理使基于变压器的语言模型在复杂数学和多步规划方面表

现出色。然而，在标准的仅解码器架构中，这些推理步骤以自然语言的形

式外部化，虽然提高了可解释性但牺牲了效率。为了捕捉难以用文字表示

的推理过程，许多研究工作已经探索了旨在将推理内部化的递归架构，在

潜在空间中支持隐含CoT。在这篇论文中，我们探讨了这种推理结构是否

本出现在Huginn-3.5B中，这是一个深度递归变压器，在推断时不增加参数

译数量即可重复使用层。我们通过一套探测技术，包括LogitLens和Coda

中Lens，来考察模型在算术任务中的内部行为。我们的研究发现，通过跟踪

最终结果和中间结果标记的排名轨迹，仅有限证据表明可解释的隐含CoT。

1

v此外，我们在递归块之间发现了显著的探测不一致性，其中隐藏状态的可解

9释性严重依赖于层索引和解码方法。最后，我们实证显示增加递归深度仅带

9

1来边际收益，并远不及那些显式外部化推理步骤的模型。代码可在https:

2///wenquanlu/huginn-latent-cot获取。

0

.

7

0

51介绍

2

:

v现代大型语言模型在推理和规划任务中展示了显著的能力(Guoetal.,2025;Yuetal.,2023)。

i

x这种成功很大程度上依赖于思维链（Chain-of-thought）(Weietal.,2022;Zhangetal.,2024;

rChenetal.,2024)：明确提示模型以自然语言表达中间步骤。尽管这种方法有效，但它可能

a

会引入冗长并减慢推断速度。一个有吸引力的替代方案是开发在潜在空间中进行推理而不

在语言中表面化中间步骤的模型。然而，目前尚不清楚当今的架构是否能够实现这种行为。

一种有前景的潜在推理方法利用了递归方法(Haoetal.,2024)，其中中间连续隐藏状态在重

复使用的层之间传递，以模拟多步推理而不会发出语言。Huginn-3.5B模型(Geipingetal.,

2025)体现了这一理念，该模型使用深度递归Transformer，在推断过程中重复使用层以增

加每个标记的计算深度。虽然增加递归可以提高推理任务的表现，但尚不清楚这是否源于迭

代细化或潜在空间中结构化、类CoT推理的出现(Yangetal.,2024)。

因此，在本文中，我们提出：Huginn在推理过程中是否表现出潜在的链式思维迹象？为了

研究这一问题，我们在抑制显式推理的条件下，对Huginn在算术任务中的隐藏状态进行了

系统分析。我们引入了架构的展开视图，并应用了一系列探针技术，包括logitlens、coda