基于多尺度融合与梯度方向直方图特征的红外与可见光图像融合技术研究.pdf

摘要

红外与可见光图像融合一直是计算机视觉领域的研究热点，广泛应用于语义

分割和目标检测等领域。红外传感器生成的图像目标清晰且不易受光照天气等因

素影响，但缺乏边缘纹理以及背景信息。可见光传感器获取的图像可以准确提供场

景的细节纹理等信息，但易受光照、遮挡等因素影响导致目标物体模糊或缺失。将

红外与可见光图像融合可以生成目标物体轮廓清晰且场景细节丰富的融合图像。

深度学习因其能够通过大规模数据集训练，实现高质量融合结果，适用于复杂

环境而备受关注。然而，基于深度学习的图像融合技术在源图像特征提取和边缘纹

理保留等方面仍存在挑战。本文对基于深度学习的红外与可见光图像融合网络展

开了研究，具体研究内容如下：

（1）本文提出了一种基于梯度方向直方图的损失函数，损失函数由梯度方向直

方图损失和多尺度结构相似性损失构成。利用parzen-window的方法解决了梯度方

向直方图离散且不可微的问题。本文在NestFuse、Res2Fusion和UNFusion三个网

络上进行了实验，实验结果表明，所设计的损失函数可以提升融合结果的对比度。

TNO数据集上，本文设计的损失函数对融合结果的标准差（SD）分别提升了

2.1476%、1.2273%和1.4444%；视觉信息保真度（VIF）分别提升了1.6529%、1.4936%

和1.2902%。RoadScene数据集上，本文设计的损失函数对融合结果的SD分别提

升了1.0083%、1.1669%和0.7214%，VIF分别提升了1.8093%、1.8063%和1.0406%。

（2）本文提出了一种多尺度图像融合网络，网络由特征提取模块、特征融合模

块和图像重建模块组成，利用梯度方向直方图损失进行训练。将本文所设计的融合

网络与8种图像融合方法在TNO以及Roadscene两个数据集上进行了主客观比较。

在TNO数据集的实验上，本文所设计的网络在9种客观评估指标上取得了6个最

优值和2个次优值。在RoadScene数据集的实验上，本文所设计的网络取得了4个

最优值和2个次优值。通过主客观的评估，证明了本文所设计的图像融合网络在

源图像的边缘纹理和红外目标的信息保留上有很好的效果。

对网络的损失函数和网络结构的优化的相似之处在于都侧重了对源图像细节

信息的提取，不同的是对网路的损失函数的优化并不会增加网络的参数量以及模

型的大小，在进行图像融合时计算效率不变，而加入全维动态卷积的网路结构则会

提升网络的规模大小，牺牲一定的计算效率。

关键词：图像融合，损失函数，深度学习，红外图像，可见光图像

ABSTRACT

Infraredandvisiblelightimagefusionhasbeenaresearchhotspotinthefieldof

computervision,whichiswidelyusedinsemanticsegmentationandtargetdetection.

Infraredimagesensorsaresensitivetothethermalradiationinformationofthetargetand

thescene,andthegeneratedimagesareclearandnoteasilyaffectedbyfactorssuchas

lightingandweather,butlackedgetextureandbackgroundinformation.Visibleimage

sensorsusuallyobtainclearerimages,canaccuratelyprovidethedetailsofthescene

wherethetargettextureandotherinformation,buteasytobeaffectedbylighting,

occlusionandotherfactorsresultinginthetargetobjectblurredormissing.Thefusionof

inf