ETT：在测试时扩展 LLMs 的长上下文理解能力-计算机科学-大语言模型-长上下文.pdfVIP

ETT：在测试时扩展LLMs的长上下文理解

能力

∗111

KiarashZahirnia,ZahraGolpayegani,WalidAhmed,andYang

Liu1

本1AscendTeam,TorontoResearchCenter,HuaweiTechnologies

译

中2025年1月

2

v

3

1摘要

3

6基于Transformer的语言模型的计算和内存开销随着序列长度的增加而

0.呈二次增长。这种二次成本在使用LLMs处理长序列时带来了挑战。在这项

7工作中，我们介绍了一种名为(测试时扩展)的方法，用于扩展短上下

0

5文基于Transformer的LLM的上下文长度，并且具有常数内存需求和线性

2计算开销。通过在输入上下文中对模型参数进行高效的微调来实现在

:

v测试时扩展上下文长度，这些输入被分割成重叠的小子序列。

i

x我们通过将GPT-Large和Phi-2的上下文长度扩展到32倍来评估

r在LongBench上的表现，从1k扩展到32k个标记。这导致模型

a

准确率提高了多达30%。我们还研究了如何有效地将上下文存储在大语言

模型的权重中。通过详细的消融研究，我们检查哪些Transformer模块在测

试时进行微调最为有益。有趣的是，我们发现微调FFNs的第二层比完全

微调更有效，进一步提高了模型的准确率。

1介绍

变换器在众多任务中展示了出色的性能[25]。然而，标准注意力机制的

二次计算和内存成本阻碍了其扩展到长序列的能力。更具体地说，计算注意

∗kiarash.zahirnia3@

1

力分数需要内存和计算资源，并且在推理过程中，随着序列长度的

增加，KV缓存的大小也会增长，这对较长的序列提出了进一步的挑战。

在这项工作中，我们研究了测试时训练（TTT）[16]以在测试（推理）

时扩展模型的上下文长度，并保持恒定的记忆需求和线性计算复杂度。TTT

使用未标记测试数据派生的损失更新模型参数，并在完成每个测试数据的推

理后将模型参数重置为其原始值。我们引入了(ExtendatTest-Time)，

通过在输入上下文中对模型参数进行微调来扩展测试时的上下文长度，这

些输入被分割成重叠的子序列。

从内存角度来看,利用模型参数及其在推理过程中作为持久记忆记

住数据的能力，在过程结束时重置它们。将基于变压器的大型语言模

型的计算开销从二次减少到线性，并且由于模型输入限定了固定块大小，因

此与输入长度无关，保持恒定的记忆占用。

我们的主要经验实验研究了通过全面微调在测试时将小型语言模型

（Phi-2[14]和GPT-Large[22]）的短上下文窗口扩展最多32倍。这种方法

导致LongBench[2]分数显著提高。

虽然