一种支持抽象和优化的深度学习加速器高级编译器集成方法-计算机科学-深度学习加速器-机器学习编译器-优化.pdfVIP

一种支持抽象和优化的深度学习加速器高级编译器集

成方法

SamiraAhmadifarsani,

DanielMueller-Gritschneder,and

UlfSchlichtmann

TechnicalUniversityofMunich,Arcisstr.21,80333Munich,Germany

{samira.ahmadifarsani,ulf.schlichtmann}@tum.de

TUWien,1040Vienna,Austria

本daniel.mueller-gritschneder@tuwien.ac.at

译

中摘要域特定架构在边缘计算平台上的深度学习应用日益增多，突显了硬

1件加速器的效率。然而，将定制加速器集成到现代机器学习（ML）编译

v

8器中仍然是一个复杂的挑战，因为需要对编译层进行重大修改和专门的调

2度技术。现有的框架提供了部分解决方案，并要求用户导航复杂的编译器

8

4内部。

0在本文中，我们介绍了一种基于TVM的编译集成方法，该方法针对基于

.

7GEMM的深度学习加速器。我们的方法抽象了编译器集成的复杂性，使

0得无需深入了解底层编译器即可无缝集成加速器。此外，我们扩展并集成

5

2了设计空间探索工具，特别是CoSA，以自动化高效的张量调度，并考虑

:不均匀映射和双缓冲等因素。我们的框架在Gemmini加速器上进行了基

v

i准测试，显示出与专门的手动实现工具链相当的性能。

x

r

a

Keywords:深度学习加速器·机器学习编译器·张量调度。

1介绍

领域特定架构在边缘计算中的深度学习证明了其有效性，通过定制的计

算引擎和内存层次结构提供了增强的功耗性能。空间架构，如谷歌的TPU

和Gemmini[5]，使用针对GEMM操作优化的脉动阵列，在基于张量的任务

中表现出色。为了解决片上内存有限的问题，加速器通常用软件管理的暂存

区替换缓存，并依赖显式的DMA基础传输。它们通常与通用处理器配对，

这些通用处理器负责管理不支持的任务并通过自定义指令进行控制协调。

2S.Ahmadifarsanietal.

尽管硬件设计工具取得了进步，但在自定义加速器上部署深度学习模型

仍受到复杂软件工具链需求的阻碍。诸如TVM[3]和TinyIREE[8]这样的

机器学习编译器为CPU和GPU提供了强大的支持，但集成新加速器需要

对编译器进行深入修改。一个关键挑战是张量调度，它控制计算和数据移

动。虽然一些编译器使用基于有哪些信誉好的足球投注网站的策略（例如Ansor[10]），这些策略回退

到为加速器使用的模板，需要针对每个固有功能手动调整。

本文提出了一种基于GEMM的硬件加速器编译器集成方法，通过抽象

低级编译复杂性简化了集成过程。我们的主要贡献是：

–我们利用已建立的设计空间探索（D