FAMOUS：一种在 UltraScale+ FPGA 上的 Transformer 注意力机制的灵活加速器-计算机科学-硬件加速器-变换器-注意力-自然语言处理.pdfVIP

本

译

中

3©2024IEEE.允许个人使用此材料。对于所有其他用途，必须从IEEE获得许可，包括在任何

v

3当前或未来媒体中重新印刷/重新发布此材料用于广告或促销目的、创建新的集体作品、转售或重

2

0新分发到服务器或列表，或在此项工作的其他作品中重复使用任何受版权保护的组件。

4

1

.

9本工作已被接受为FPT2024（国际可编程技术会议）论文集中的海报展示。它将以两页论文

0

4的形式出现在论文集中，并很快在IEEE网站上发布。

2

:

v

i

x

r

a

FAMOUS：一种在UltraScale+FPGA上的

Transformer注意力机制的灵活加速器

EhsanKabir,Md.ArafatKabir,AustinR.J.Downey,JasonD.Bakos,DavidAndrews,MiaoqingHuang

DepartmentofEECS,UniversityofArkansas,Fayetteville,DepartmentofCSE,

{ekabir,makabir,dandrews,mqhuang}@uark.edu,austindowney@sc.edu,jbakos@cse.sc.edu

摘要—本文提出了著名，这是一种灵活的硬件加速器，用于为了解决这些挑战，本文做出了以下贡献：

在现场可编程门阵列（FPGAs）上进行Transformer神经网

一种高效的权重矩阵平铺方法，以适应大规模模型

络（TNNs）中的密集多头注意力（MHA）计算。它针对处理元

在片上内存中的需求。

素和片上存储器的高利用率进行了优化，以提高并行性和减少延

迟。采用了高效的大型矩阵分块方法来分配不同模块上的内存和一种确保高BRAM和DSP利用率的新型架构，用

计算资源，在不同的FPGA平台上实现了这一点。该设计在包于高效并行处理Transformer的注意力机制，并具

含Ultrascale+FPGAs的XilinxAlveoU55C数据中心卡有低延迟。

上进行了评估。实验结果表明，在U55C上，它可达到的最大吞一个参数化的HLS代码，允许用户在设计阶段从

吐量、并行注意力头数、嵌入维度和分块大小分别为328（吉操

HLS工具修改一些参数。

作/秒（GOPS））、8、768和64。此外，它的速度分别比Intel

一个运行时可编程特性，允许用户从软件中在运行

XeonGold5220RCPU快3.28倍，比NVIDIAV100

GPU快2.6倍。它也比最快的基于FPGA的加速器快1.3。时修改某些参数。

IndexTerms—FPGA,变换器,注意力,高级综合,自然

语言处理,加速器。II.背景

I.介绍

变压器中有几个构建块，其中多头注意力（MHA）

变压器神经网络在自然语言处理（NLP）、机器翻在此进行了描述。图1说明了每个头部的缩放点积注意

译、计算机视觉[1],[2]和其他领域近年来取得了显著