推理混合-教大型语言模型使用自适应策略进行推理-计算机科学-人工智能-大语言模型-推理.pdfVIP

推理混合：教大型语言模型使用自适应策略进行推理

1,†2,†22,‡

TaoXiong,XavierHu,WenyanFan,ShengyuZhang

1DalianUniversityofTechnology,2ZhejiangUniversity

Correspondence:030130x@mail.dlut.edu.cn,sy_zhang@zju.edu.cn

摘要务上的表现。然而，它们的效果严重依赖于手

工制作的任务特定提示，这设计耗时且难以优

大型语言模型（LLMs）通过高级提示技术

化适应各种不同的任务。这种对提示工程的依

本如链式思维（CoT）和树状思维（ToT）在复赖构成了一个关键瓶颈，通用提示往往无法引

译杂任务中表现出色，但它们依赖于手动设发稳健的推理。

中计的任务特定提示限制了适应性和效率。为应对这一挑战，我们提出了推理混合

我们引入了一种训练框架——推理混合

2

v（MoR），它将多样化的推理策略嵌入到（MoR），这是一种新型的训练框架，将一系列

6LLMs中，使其能够自主进行任务自适应多样化的推理策略直接嵌入到大语言模型中，

0

6的推理，而无需外部提示工程。使它们能够自主选择并应用针对特定任务的有

0

0MoR有两个阶段：思维生成，使用像GPT-效推理方法。

.

74o这样的模型创建推理链模板；SFT数据与依赖外部提示工程来激发推理能力的现

0

5集构建，将模板与基准数据集配对以进行有方法(Gaoetal.,2024;Zhouetal.,2024)不同，

2监督微调。MoR通过在精心策划的监督微调（SFT）数据

:

v

i我们的实验表明，MoR显著提升了性能，集上进行模型微调来内部化推理能力，该数据

x

r在使用CoT提示时达到了0.730集富含推理链模板。

a

（提高了2.2%），并且相比基线方法提升了这些模板利用闭源大型模型（如GPT-4o）

13.5%，达到0.734。MoR消除了对任务特

的高级推理能力生成，涵盖了广泛的推理模式，

定提示的需求，为多样化的任务提供了鲁

包括多步骤演绎、类比推理和战略思维。

棒推理的通用解决方案。

MoR框架的操作分为两个关键阶段：(1)

思维生成，在此阶段我们产生大规模的推理链

1介绍

模板（例如，50,150,300和500条链）以捕获

大型语言模型（LLMs）在各个领域取得了多样化的解决问题