基于生成对抗网络的红外与可见光图像转换研究.pdfVIP

摘要

全天候场景感知对于军事、农业和自动驾驶等诸多领域具有重要意义。其中，

利用红外成像设备对复杂环境条件进行稳定成像，已成为视觉场景感知的重要手

段。尽管红外成像设备已在多个领域得到广泛应用，但仍存在价格高昂和拍摄条件

苛刻等缺点，导致其无法像数码设备一样进行大规模地可见光图像拍摄。另一方面，

由于红外图像存在颜色单一和边缘模糊等缺点，导致视觉辨识度较低，进一步限制

了各类系统的场景感知能力。针对上述问题，本文基于深度学习技术对红外与可见

光图像转换展开深入研究。

（1）通过实现可见光到红外图像转换，可以降低红外图像数据集制作成本，

有效扩充红外图像数据集规模，为后续任务提供数据支撑。然而，由于现有转换模

型往往缺乏多层级信息交互，导致生成的红外图像存在细节丢失、边缘模糊等问题。

为了解决这一问题，本文提出了一种基于多层级混合连接的生成对抗网络模型。该

算法首先在编解码阶段添加了同层级的密集连接和跨层级的跳跃连接，可以有效

增强网络多层级之间的特征交互能力。此外，设计了多尺度和自适应残差网络，用

于增强生成器的特征提取与融合能力。为进一步提升网络对图像全局信息的提取

能力，提出基于通道和窗口注意力的混合Transformer层，用于捕获全局上下文信

息，防止深层信息丢失。最后，为提高判别器的鲁棒性，设计了一种基于图像和像

素差异的二级判别器，并引入对比学习策略进一步丰富图像的细节纹理与对比度，

确保生成的仿真红外图像具有更高的真实性。

（2）通过实现红外到可见光图像转换，可以解决某些视觉任务中红外图像颜

色单一、辨识度低的限制，从而有效提高对场景的理解能力。然而，红外图像中模

糊或低对比度区域的特征往往难以提取，导致现有红外到可见光转换模型生成的

图像可能会出现色彩偏差、溢出等问题。针对这一问题，本文提出了一种基于大尺

度卷积核网络和Transformer的生成对抗网络模型。该算法利用大尺度卷积层扩大

网络的感受野，可以有效捕捉低质量红外图像中的细节和色彩信息。同时，设计了

包含CNN和VisionTransformer的双分支特征增强模块，用于对局部和全局信息

进行细化处理。为防止特征融合过程中造成特征丢失，设计了特征交叉融合模块，

确保模型能够传递更丰富的细节和颜色信息。最后，为生成逼真的可见光图像，引

入了多尺度结构相似性损失和感知损失等多种损失函数对网络模型进行优化。

本文在公开数据集VEDAI、LLVIP、IRVI-Monitor和IRVI-Traffic上，分别对

所提出的算法模型进行了定量和定性分析实验。实验结果表明，本文提出的红外与

可见光图像转换算法在视觉效果和评价指标上，相比已有算法具有明显提升。

关键词：红外转可见光；可见光转红外；生成对抗网络；Transformer

ABSTRACT

All-weathersceneperceptioniscriticallyimportantacrossvariousfields,including

military,agriculture,andautonomousdriving.Infraredimagingdevicesareinstrumental

inachievingstableimagingundercomplexenvironmentalconditions,therebyservingas

essentialtoolsforvisualsceneperception.However,despitetheirwidespreaduse,

infraredimagingdevicesfacesignificantchallenges,suchashighcostsandstringent

operationalconditions,whichlimittheircapabilitytocapturelarge-scalevisiblelight

imagescomparabletothoseproducedbydigitaldevices.Additionally,theinherent

drawbacksof