深度神经网络的加速方法及其硬件部署研究.pdfVIP

摘要

随着人工智能技术的不断深入，深度神经网络模型的参数量、算子种类都日益

增加，而实际硬件部署时往往需要面对资源受限的情况。为解决以上问题，人们在

算法和硬件层面都进行了大量探索。算法上，各种深度神经网络模型压缩方法被提

出，但这些压缩方法都有各自的局限性。硬件上，针对不同部署场景下的需求，探

索出了各类硬件加速器，但这些硬件加速器并不能很好的适配算法。

本文设计了一个硬件友好型的深度神经网络级联压缩方法，综合各类压缩方

法的优势并级联实现，在保证最小化精度损失的前提下，尽可能多地减少网络的参

数量及运算量，使得压缩后的参数矩阵具有规律的稀疏性更利于FPGA硬件部署。

并基于该级联压缩方法实现了深度神经网络推理端到端部署。主要工作如下：

首先，本文设计实现了一个面向FPGA部署的深度神经网络级联压缩方法。

该方法首先对初始网络模型进行训练，以训练后的网络作为教师网络1，进行局部

统计剪枝得到教师网络2，进而采取细粒度剪枝方法得到剪枝后的网络作为学生网

络，利用多教师网络1、2以不同的权重系数级联实现领域校正权重自适应多教师

知识蒸馏（NeighborhoodCorrectionWeight-AdaptiveMulti-TeacherKnowledge

Distillation，NC-WAMKD）。在完成多教师知识蒸馏后，对蒸馏后的网络使用训练

量化阈值方法（TrainedQuantizationThresholds，TQT）。相比于传统的模型压缩方

法，该级联压缩方法保证了剪枝后的参数矩阵保留相当规律的稀疏性，便于后续硬

件在推理时实现矩阵运算加速，对FPGA部署十分友好。

然后，本文基于该级联压缩方法，设计了一套深度神经网络推理FPGA端到

端高效部署流程。部署流程从机器学习框架层次、计算图层次、DNN推理FPGA

加速器层次对整个部署过程进行了优化。根据算法具体需求和硬件具体特点，设计

了RISC-V核以及硬件脉动阵列加速器模板以进一步优化。

最后，本文基于该深度神经网络推理FPGA端到端高效部署流程，在两类

FPGA上实现了硬件加速器实际性能测试。在实验中，通过该级联压缩方法将

CIFAR10、CIFAR100数据集上的VGG网络和TinyImageNet数据集上的ResNet

网络的参数量压缩到原本的26%左右，而网络准确率基本不下降。硬件加速器在

150MHz的时钟下执行这些网络模型的推理，达到171.2GOPS的性能和

38.5GOPS/W的能量效率。

关键词：深度神经网络，硬件友好型，FPGA，端到端部署

ABSTRACT

Withthecontinuousadvancementofartificialintelligencetechnology,thenumber

ofparametersandtypesofoperatorsindeepneuralnetworkmodelsareincreasingday

byday,andactualhardwaredeploymentoftenrequiresresourceconstraints.Inorderto

solvetheaboveproblems,peoplehaveconductedalotofexplorationatboththe

algorithmandhardwarelevels.Algorithmically,variousdeepneuralnetworkmodel

compressionmethodshavebeenproposed,butthesecompressionmethodshavetheirown

limitations.Intermsofhardware,varioushardwareacceleratorshavebeenexploredto

meettheneedsofdifferentdeploymentscenari