视觉变压器轻量级适配因子调整方法研究.pdfVIP

：VisionTransformer轻量级适配的因子调整

杰世波、

智能科学与技术学院parsley,zhdeng@

2

2抽象的

0的工作探索了通过仅更新几个参数来适应预训练视觉

2变换器（ViT）的潜力，以提高效率，称为参数高效

c转移学习（PETL）。目前的PETL方法表明，只需调整

e

D0.5%的参数，ViT就可以适应下游任务，并且比完全微调

具有更好的性能。在本文中，我们的目标是进一步提高

6PETL的效率，以满足实际应用中的约束。为此，

]我们提出了一个张量化分解框架来权重增量，其中每

V个ViT的权重被张量化为单个3D张量，然后它们的增量被

C分解为轻量级因子。在微调过程中，仅需要更因

.子，称为因子调优（FacT）。在VTAB‑1K基准上，我们

s

c的方法与最先进的PETL方法NOAH的性能相当，同时参

[

数效率更高。我们还提出了一个微型版本，仅使用8K

1（ViT参数的0.01%）可训练参数，但性能优于完全微调图1：VTAB‑1K基准上的平均准确度与可训练参数数量（对

v和许多其他PETL方法，例如VPT和BitFit。在少样本设数轴）的关系。我们的显着减少了可训练参数的数量。

5

4置中，FacT还使用最少的参数击败了所有PETL基线，

1展示了其在低数据情况下的强大能力。

3所有偏差参数（Zaken、Goldberg和Ravfogel2022））。

0

.，LoRA（Huetal.2022）还表明，优化密集层权重增

2量的低秩分解矩阵是适应大型模型的一种有前途的方法。

1

21简介然而，尽管LoRA的矩阵分解显着降低了微调密集层

2在视觉任务上实现最先进性能的上的范式涉及对的开销，但它还远远没有将神经网络的低秩特性发挥

:

vImageNet（Deng等人，2009）等大型数据集进行预训到极致。受基于Transformer的预训练语言模型

i

X练，然后对下游任务进行全面微调。然而，这种范式的存（PLM）压缩（Wangetal.2022）工作的启发，我们推断

r储效率不高，因为每个下游任务都需要整个模型，而在微调过程中，预训练ViT的权重增量在权重内排序和权

a

随着视觉模型的大小呈指数级增长，这在某些情况下（例重间排序方面也是冗余的。前者体现在密集增量矩阵可以

如，为每个用户定制模型）变得令人望而却步。像LoRA一样是低秩的，而后者则体现在一些轻量级ViT

为了提高效率，关于参数高效迁移学习（PETL）结构中已经采用了跨层权重共享（Zhangetal.

的工作尝试仅微调一小部分参数，以使大型预训练模型适应下游2022），而LoRA没有考虑到这一点。为了充分发挥

任务。这些方法要么将额外的可训练结构（例如适配器PETL的潜力，我们提出了一个张量化分解框架。我们不像

（Houlsbyetal.2019）或提示标记（Jiaetal.2022））LoRA那样单独分解权重增量矩阵，而是将整个ViT表示

到冻结视觉变换器（ViT）（Dosovitskiyetal.2021）主干，为单个

要么选择性地微调ViT自身的一些参数（例如，