默默阅读，大声思考-解耦 LLM 中的理解和推理-计算机科学-人工智能-大语言模型.pdfVIP

Preprint.Underreview.

默默阅读，大声思考：解耦LLM中的理解和推理

YuanxinWang,GaneshVenkatesh

AppliedML,Cerebras

{michael.wang,ganesh.venkatesh}@

Abstract

大型语言模型（LLMs）在理解文本和生成高质量响应方面表现出色。然而，

与人类认知的一个关键区别在于它们通常缺乏一个明确的内部“阅读”或

深思阶段，在此之前不会“说话”（即生成文本）。人类常常通过无声阅读来

理解上下文并形成思想，然后再表达出来。本文研究了赋予LLMs类似内

本部处理能力的方法。

译我们介绍并评估了鼓励大型语言模型‘无声阅读’的技术。我们的研究结果

中表明，即使是像提供初始上下文提示或在开始预测最终输出的后续标记之

前给予一个‘阅读空间’这样简单的方法，也能显著提高性能。我们进一步

1通过开发一种‘阅读伙伴’架构来增强这一概念，在这种架构中，辅助组件

v

7会默默地处理输入并向主要生成模型提供精炼的上下文洞察。这些方法旨

2在培养大型语言模型更深层次的理解能力，从而使它们能够产生更具逻辑

3

3性的响应，使它们向更加类人的文本处理迈进了一步。我们的结果显示，这

0些简单的方法可以对准确性产生令人惊讶的强大影响，并带来多个点的准

.

7确率提升。

0

5

2

:

v1介绍

i

x

r

a大型语言模型（LLMs）处理复杂问题的能力在近期有了显著的增长OpenAI;DeepSeek-AI

(2025);Qwen(2025);Geminietal.(2024)。这一进展是由改进的训练方法推动的，例如在

线强化学习技术如生成奖励策略优化Shaoetal.(2024)，以及在推理时分配更多的计算资

源。这些进步的一个共同关键突破是给模型提供专门的空间进行“思考”——一个明确列出

推理链的阶段，在给出最终答案之前。这已被证明是一种提高生成响应准确性和逻辑性的强

大机制。

然而，当前范式专注于明确的“思考”痕迹，很大程度上忽视了至关重要的前一步骤：模型

对上下文和查询的初始理解和内化。目前尚无广泛的方法来明确鼓励大语言模型在开始输

出之前花更多时间处理输入。先前的研究，如ReadAgainXuetal.(2024)，表明在需要生

成响应之前给予模型更多时间“阅读”和内化信息可以显著提高质量，这凸显了探索的清晰

机会。

在这项工作中，我们通过提出一种新颖的训练配方和相应的模型架构更改来解决这一差距。

这些修改旨在鼓励模型在生成其思维轨迹和最终答案之前“安静地阅读”。我们认为正式纳

入一个无声阅读阶段是一个有前景的研究方向。通过为模型提供对上下文的更优初始理解，

我们认为这个“静默阅读”阶段可以放大测试时“思考”的益处，并且可能是未来探索的一

个有前途的方向。

1

Preprint.Underreview.

2动机和相关工作

我们假设一个有效的生成合理响应的过程包括两个不同的阶段。第一个是“默读”阶段，专

门用于