一种针对边缘设备高效部署的神经网络优化框架.pdfVIP

40一种针对边缘设备高效部署的神经网络优化框架

一种针对边缘设备高效部署的神经网络优化框架

ANeuralNetworkOptimizationFrameworkforEfficientDeploymentonEdgeDevices

李裕赵贝宁曹姗姜之源（上海大学通信与信息工程学院，上海200444)

摘要：得益于优秀的特征提取能力，各类卷积神经网络模型广泛应用于多个领域。在越来越高识别精度要求下，网络模

型的参数量大幅增加，然而边缘设备的计算资源、存储资源往往有诸多限制，因此需要研究针对边缘设备部署的模型优化

方法。提出了一种针对边缘设备高效部署的神经网络优化框架，可以对多种神经网络模型进行灵活剪枝与量化。

关键词：剪枝；混合粒度；卷积神经网络；量化

Abstract:Convolutionneuralnetworkshavebeenwidelydeployedinvariousapplicationsduetotheiroutstandingfea-

tureextractionability.Tomeettheincreasingaccuracyrequirements,thenumberofparametersinnetworkmodelshasin-

creasedsignificantly.However,edgedevicesareoftensubjecttomanylimitationsintermsofcomputationalandstoragere-

sources:Therefore,itisnecessarytostudymodeloptimizationmethodsfordeploymentonedgedevices,Thispaperpro-

posesaneuralnetworkoptimizationframeworkforefficientdeploymentonedgedevices,whichallowsforflexiblepruning

andquantizationofvariousneuralnetworkmodels.

Keywords:pruning,hybrid-grained,convolutionneuralnetworks,quantization

随着人工智能、大数据等技术的发展，智能系统得以蓬勃发量化出现较为明显的模型精优化前的神经网络模型

展。智能系统主要依靠各种传感器获得环境信息，如摄像头，其度损失时，框架将会对模型

对应的数据处理任务一般为图像分类、图像识别。这类任务的准进行量化感知训练。通道剪枝

确度在近年来随着不同结构的卷积神经网络（CNNs,Convolu-2混合粒度模型剪枝

tionNeuralNetworks)[1]的出现大幅提升。为了提高准确度，各卷积层作为卷积神经网通道剪枝N

能否满足

种卷积神经网络模型的参数量大幅增加，这使得它们在小型化、络中计算量最大的一种运算Y混合粒度剪枝

边缘化的智能系统上的部署变得更加困难。因此,构建一个神经层，涉及了非常多的乘法-加

训练后量化

网络优化框架，能根据不同的网络任务、识别精度要求等选择合法操作，因此在现有的模型

工

适的模型压缩与优化策略，是十分重要的。优化框架中，