基于差分互补模块优化的图像融合通用模型研究.pdfVIP

摘要

图像融合是计算机视觉领域的重要研究方向，涵盖红外与可见光图像融合、多曝

光图像融合、多聚焦图像融合等技术，广泛应用于无人驾驶、安全监控、医学影像等

领域。现有通用模型基于弹性权重，依赖人工干预，处理多种不同类型的图像融合任

务时通用性不足，调整和优化困难。

本研究从多种类型图像融合的共通之处出发，构建了一个统一的图像融合通用模

型，充分利用神经网络的表征能力。使用独特的训练方法，即轮次训练，来避免人工

干预，实现多种类型图像融合，同时在融合过程中添加差分互补模块，充分整合源图

像的互补信息。模型框架主要分为两个模块：一是多尺度自动编码器，通过多尺度提

取图像特征，浅层特征保留细节信息，深层特征传递语义信息，并经过密集块短连接

解码器还原信息进行图像重构；二是图像融合模块，位于解码器与编码器之间，对解

码器得到的图像特征信息进行处理，实现特征信息融合，使用差分互补的方法放大图

像特征信息，使得源图像的特征信息在融合图像中更为明显。这种方式不仅提高了图

像融合的灵活性和鲁棒性，还能更好地融合不同图像任务的有益信息。

训练过程中，首先训练嵌套连接的自动编码器；然后在固定自动编码器参数的情

况下，单独对融合模块进行多类型图像的轮次训练，使用不同的损失函数进行约束，

实现图像共有和互补特征的集成。

该研究实现了用统一的模型和参数实现多类型图像融合，基于轮次训练的方法可

避免模型在处理不同类型的图像时出现过拟合或欠拟合的情况，使模型具有更好的适

应性和泛化性能。此外，针对不同图像融合任务使用侧重点不同的损失函数，使模型

适用于多种图像融合任务。实验结果显示，在红外与可见光图像融合任务中，模型在

熵和峰值信噪比指标上表现最佳，分别为7.0742和65.0759；在多曝光图像和多聚焦

图像融合任务中，模型在特征互信息指标上表现最佳，分别为0.8931和0.9052。这

些结果表明了模型在不同图像融合任务中的有效性和适应性。在实际应用中，该方法

能够提高图像融合的效率和可靠性，具有广泛的应用前景。

关键词：图像融合；通用模型；轮次训练；多任务

ABSTRACT

Imagefusionisacrucialresearchdirectioninthefieldofcomputervision,

encompassingtechnologiessuchasinfraredandvisiblelightimagefusion,multi-exposure

imagefusion,andmulti-focusimagefusion.Thesetechnologiesarewidelyappliedinareas

suchasautonomousdriving,securitymonitoring,andmedicalimaging.Existinggeneral

modelsrelyonelasticweightsandrequiremanualintervention,whichlimitstheirgenerality

andmakesadjustmentandoptimizationchallengingwhenhandlingvarioustypesofimage

fusiontasks.

Thisstudyconstructsaunifiedimagefusionmodelbyleveragingthecommonalities

amongdifferenttypesofimagefusion.Itfullyutilizestherepresentationalcapabilitiesof

neuralnetworksandemploysauniquetrainingmethod,namelyround-basedtraining,to

avoidmanualinterventionandachievemulti-typeimagefusion.Duringthefusionprocess,

adifferentialcomplementary