基于CNN的图像超分辨率重建研究及硬件实现.pdfVIP

摘要

图像是信息的主要载体，为了从图像上获取更多信息，图像的质量显得尤其重要。

由于卷积神经网络在图像处理应用上具有独特优势，近几年，卷积神经网络开始在图像

超分辨率重建领域进行融合，相比传统的图像处理算法，可以明显提高重建图像的质量，

但同时也大幅度增加了算法计算量。由于传统嵌入式设备的计算能力有限，面对实时性

要求较高的场景，难以满足实际应用需求。针对高质量的图像超分辨率重建，以及在移

动终端上实现边缘实时计算的难题，本论文致力于研究得出一套完整的算法与硬件结合

的智能终端解决方案，满足图像超分辨率重建领域的场景应用，论文的主要工作和创新

如下：

1、针对图像超分辨率重建的质量要求问题，本论文在FSRCNN算法的基础上进行

优化改进，得到了轻量级的超分辨率神经网络算法Tiny-FSRCNN。该算法可以有效提升

图像的重建质量，并简化了算法的计算量与复杂度，有利于算法在硬件上的部署与实现。

2、针对移动终端场景对图像处理的实时性要求问题，提出了一种基于FPGA实现

卷积神经网络计算加速的解决方案。把算法模型用数字电路设计实现，通过硬件电路加

速算法的计算，经过实验对比，相比CPU可实现数倍的加速，能满足实际场景的图像

实时处理要求。

3、针对FPGA的电路结构特性，最大化利用FPGA的硬件资源。使用DSP-Supertile

技术来实现高性能的卷积计算电路，使DSP的时钟频率运行于逻辑的两倍时钟频率上，

在耗费同样数量的DSP计算资源情况下，算力达到倍增的效果。

关键词：超分辨率，卷积神经网络，FPGA，硬件加速，DSP-Supertile

ABSTRACT

Imageisthemaincarrierofinformation,inordertogetmoreinformationfromtheimage,

imagequalityisparticularlyimportant.DuetotheuniqueadvantagesofConvolutionalNeural

Networksinimageprocessingapplications,inrecentyears,ConvolutionalNeuralNetworks

hasstartedtobefusedinthefieldofimagesuper-resolutionreconstruction.Comparedwith

traditionalimageprocessingalgorithms,itcansignificantlyimprovethequalityof

reconstructedimages,butatthesametimesignificantlyincreasetheamountofalgorithm

calculation.Duetothelimitedcomputingcapacityoftraditionalembeddeddevices,itis

difficulttomeetthepracticalapplicationrequirementsinthescenewithhighreal-time

requirements.Aimingattheproblemofhigh-qualityimagesuper-resolutionreconstructionand

real-timecalculationonterminals,thispaperisdevotedtoresearchandobtainacompleteset

ofintelligentterminalsolutioncombiningalgorithmandhardware,whichmeetsthescene

applicationinthefieldofima