面向复杂场景基于深度学习的图像语义分割算法研究.pdfVIP

摘要

语义分割对于自动驾驶、视觉语义SLAM、自主导航以及医学影像辅助等

应用领域来说具有举足轻重的作用。在实际应用中，许多分割场景都面临着背

景复杂和图像成像时产生的光源干扰等挑战。这些问题往往导致传统的语义分

割算法在关键区域无法达到理想的分割效果。为了应对这些挑战，本文在复杂

场景的道路数据集下进行基于深度学习的语义分割算法研究，主要工作如下：

（1）为了提升基础网络的特征提取能力，展开研究融合多尺度特征提取

的语义分割方法。本文首先基于CNN和Transformer的编码-解码器网络结构进

行了语义分割实验，挑选出了性能更为优秀的LinkNet与本文设计的多尺度特

征提取模块（MFE模块）进行融合，该模块结合了多尺度空洞卷积和全局池化

技术来提取特征。融合后的MFE-LinkNet模型在CHN6-CUG道路数据集上的

分割性能指标和可视化结果上均优于多个经典的多尺度特征提取网络，IoU指

标和F1指标相较于LinkNet分别提升了1.4%和0.9%。

（2）针对编码器-解码器结构中跳跃连接可能对上采样特征产生干扰的问

题，本文提出了一种新颖的混合位置选择卷积核注意力模块，该注意力模块能

够在自适应地关注不同卷积核分支中的位置信息，从而传递更为有效的特征。

实验结果表明，该注意力模块与MFE-LinkNet融合的模型在CHN6-CUG道路

数据集上的综合性能指标和可视化结果上均优于其他注意力模块与MFE-

LinkNet融合的模型。得到的最优模型在IoU指标和F1指标上相较于LinkNet

分别提升了3.4%和2.1%。并且在DeepGlobe道路数据集上也得到了最优的综

合性能指标和可视化结果，相较于LinkNet分别提升了2.6%和1.6%，充分验证

了本文所提方法的有效性。

关键词：语义分割；深度学习；特征提取；注意力机制

ABSTRACT

Semanticsegmentationplaysapivotalroleinvariousapplications,including

autonomousdriving,visualsemanticSLAM,autonomousnavigation,andmedical

imageassistance.Inpracticalapplications,manysegmentationscenariosencounter

challengessuchascomplexbackgroundsandlightsourceinterferencegenerated

duringimageformation.Theseissuesoftenleadtotraditionalsemanticsegmentation

algorithmsfailingtoachieveidealsegmentationeffectsincriticalregions.Toaddress

thesechallenges,thispaperconductsresearchonsemanticsegmentationalgorithms

basedondeeplearning,focusingonroaddatasetsincomplexscenes.Themain

contributionsareasfollows:

(1)Toenhancethefeatureextractioncapabilityofthebasenetwork,thispaper

exploresasemanticsegmentationmethodthatintegratesmulti-scalefeature

extraction.Initially,weperformsemanticsegmentation