您的注意力很重要：提高模型对噪声和虚假相关性的鲁棒性-计算机科学-自注意力机制-深度学习.pdfVIP

您的注意力很重要：提高模型对噪声和虚假相关性的

鲁棒性

CamiloTamayo-RousseauYunjiaZhaoYiqunZhangRandallBalestriero

BrownUniversityBrownUniversityBrownUniversityBrownUniversity

Abstract

自注意力机制是Transformer架构的基础，支持其在广泛任务中的卓越成功。

本虽然存在许多自注意力变体，但它们对噪声和虚假相关性的鲁棒性尚未得

译到充分研究。本研究评估了VisionTransformers在不同数据损坏场景下Soft-

中max、Sigmoid、线性、双重随机和余弦注意机制的表现。通过在CIFAR-10、

CIFAR-100和Imagenette数据集上的测试，我们展示了双重随机注意力是最

1

v具鲁棒性的。我们的研究结果为具有不完整数据背景下的自注意力选择提

3供了指导。

5

4

0

2.1介绍

7

0

5变换器[37]已成为现代深度学习的基础，在自然语言处理[27,6,39]、计算机视觉[8,22,3]、

2音频建模[10,28]和多模式任务[17,30,1]中取得了最先进的成果。它们的成功很大程度上

:

v归功于自注意力机制，该机制通过计算所有输入元素之间的动态、内容相关的相互作用来模

i

x拟长距离依赖关系。这标志着从早期架构如卷积神经网络（CNNs）[21,19,12,32,34]的转

r

a变，后者依靠固定的局部感受野和参数共享来提取分层特征。

尽管由于局部性和平移等变性[19,21]等归纳偏置，CNNs传统上一直是视觉任务的首选模

型，但最近的研究表明，当在大规模数据集上进行训练时，VisionTransformers(ViTs)[8]可

以匹敌甚至超越CNNs。由于局部滤波器和平滑行为[9]，CNNs可能对小扰动表现出一定

的鲁棒性，但它们仍然容易受到噪声、模糊和天气效应[13]等常见腐蚀的影响。相比之下，

ViTs使用全局自注意力机制并且没有内置的归纳偏置，这引发了关于其在分布变化下鲁棒

性的疑问。

鲁棒性在现实世界应用中变得越来越重要，因为输入可能会由于传感器噪声、遮挡、天气失

真甚至对抗性操作而退化。尽管许多关于鲁棒性的文献关注于训练时间的干预措施——例如

数据增强[5,40,7]、对抗性训练[11,23]或正则化技术[33,35,15]——架构选择仍然是一个

未充分探索但可能互补的研究方向。特别是，注意力机制本身在塑造鲁棒性方面的作用尚不

明确。

为了解决这一缺口，我们系统地研究了不同的注意力机制如何影响Transformer对噪声和损

坏输入的鲁棒性。我们将五种变体——Softmax注意力、Sigmoid注意力[29]、线性注意力

[38,16,4]、双重随机注意力[31]以及余弦注意力[24]——整合到VisionTransformer框架中

Preprint.

进行比较。我们的实验涵盖了多个复杂度和分辨率不同的计算机视觉基准测试。我们在训练

和测试分布中注入噪声，以评估在各种损坏情况下的泛化能力和韧性。

本工作提供了首个