变换器作为概率拉普拉斯特征映射中的展开推理：一种解释及潜在改进-计算机科学-机器学习-深度学习-算法.pdfVIP

Underreview.

变换器作为概率拉普拉斯特征映射中的展开推理：一种解释及

潜在改进

AdityaRavuriaditya.ravuri@cl.cam.ac.uk

UniversityofCambridge

NeilD.Lawrence

UniversityofCambridge

Abstract

我们提出了一种将变换器视为假设概率拉普拉斯特征映射模型（来自ProbDR框架）的未展

本开推理步骤的概率解释。我们的推导表明，在初始化时，变换器执行“线性”降维。我们还

展示了在变换器块内部，从我们的论点中出现了一个图拉普拉斯项，而不是注意矩阵（我们

译将此解释为邻接矩阵）。我们证明了简单地从注意矩阵中减去单位矩阵（从而进行图扩散步

中骤）可以提高语言模型和简单视觉变换器的验证性能。

1

v

0

41介绍

0

1

2变换器，在Vaswanietal.(2017)中引入，已经成为深度学习领域内非常成功的架构，催生了用于语言的

.

7大型模型，作为大规模语言模型（LLMs）的一部分，例如BERT(Devlinetal.,2019)、视觉变换器（ViTs）

0(Dosovitskiyetal.,2021)、语音基础模型（如wav2vec）(Baevskietal.,2020)以及许多其他应用领域。

5

2他们成功的数学基础是一个活跃的研究领域。受到变换器执行降维这一想法的启发，我们大致遵循了Yu

:

vetal.(2023)的方法，提供了一种替代解释，并认为每个变换器块在初始化时都会对概率拉普拉斯特征映射

i

x模型Ravurietal.(2023)的变分下界进行梯度下降。作为视觉实验的一部分，我们将MNIST扁平化图像输

r

a入变换器中，结果显示同一类别的图像紧密聚在一起。

我们还展示了通过简单地从注意力矩阵中减去一个单位矩阵（换句话说，在注意步骤中执行图扩散或拉普

拉斯平滑）的修改，遵循我们的解释，并且我们展示了这种架构上的改变可以提高在tinyShakespeare和

OpenWebText数据集(Karpathy,2015;Gokaslanetal.,2019)以及下采样的Imagenet数据集(Russakovsky

etal.,2015;Chrabaszczetal.,2017)上拟合的语言模型和视觉变换器的性能。这项工作是关于如何将Ravuri

etal.(2023)的见解用于改进工程工具的概念验证。

相关工作

在我们的工作中，我们将注意力矩阵解释为最近邻图的邻接矩阵，并证明了降维模型中的展开优化会导致变

压器架构。

将注意力矩阵解释为数据点相似性或相关性的矩阵有着悠久的历史；Vaswanietal.(2017)以及许多后续的

工作，例如Weng(2018);Cheferetal.(2021)，已经对与文本输入、图像补丁等相对应的注意力矩阵进行了可

视化，以实现可解释性。最近的研究将注意力矩阵解释为邻接矩阵，并表明图卷积可以提高架构(Choietal.,

2024)的性能。在我们的工作中，我们展示了图扩散步骤也提高了架构的性能。在图卷积网络领域中，Kipf

1

Underreview.

Welling(2017)从频谱图卷积的角度来激发其架构，并通过对其更新进行略微不同的推导，我们发现一个

更新还涉及形式为θx+θLx的图拉普拉斯算子项。更近一些的工作Joshi(2025)将变换器注意