基于半监督学习的语义分割算法研究.pdfVIP

基于半监督学习的语义分割算法研究

摘要

语义分割是计算机视觉中的基本任务之一，它的目标是为图像中的每个像素分配

一个特定的类别。语义分割已被广泛应用于各种领域，例如自动驾驶、医学图像处

理、航空图像分析和机械图像分析等领域。最近几年中，深度神经网络（DeepNeural

Network，DNNs）在语义分割中显示出巨大的潜力。但是，深度神经网络的成功主要

归功于大量的注释数据集。对于语义分割任务，通常需要像素级注释，这意味着注释

人员需要手动标记每张图像的数十万个像素。精细密集的像素级标签成本高、耗时

长，收集大量的标注数据来训练深度神经网络需要付出巨大的努力，这成为了半监督

语义分割实际应用的一个重要瓶颈。

半监督学习方法（Semi-SupervisedLearning，SSL）可以有效地解决上述问题，其

目的是通过使用少量的有标签数据和大量的无标签数据来训练网路。由于有标签的数

据非常有限，因此，如何有效利用无标签数据辅助网络训练是半监督学习的研究重

点。现今主流的半监督语义分割算法主要包括基于一致性正则化和基于伪标签的方

法。一致性正则化方法在未标记的样本上使用各种数据增强方法并使它们产生一致的

预测，以增强一致性。伪标签方法为未标记的样本生成伪标签，以用于接下来的训

练。然而，现有的半监督学习方法存在一定的局限性。例如，以平均教师为代表的一

致性正则化方法通常存在着网络耦合的问题，而伪标签法可能会使网络过拟合到错误

的伪标签。针对以上的问题，我们提出了两种半监督语义分割算法，从而大幅度提升

了在有限的标注数据下的分割网络性能。本文提出的方法如下：

（1）提出了一个跨教师培训框架（Cross-TeacherTraining，CTT），该框架的核

心是跨教师模块（Cross-Teacher，CT），它包括两组师生网络，可以减少训练过程中

的错误知识积累，并减少朋辈网络之间的耦合。此外，CTT还包括两个互补的对比学

习模块。高级别对比学习模块（High-LevelContrastiveLearning，HC）运用于高置信度

特征，它将有标签数据的知识传递给无标签数据，并促进网络生成更清晰的分类边

界。低级别对比学习模块（Low-LevelContrastiveLearning，LC）运用于低置信度的特

征，它使低置信度的特征在朋辈网络中学习更高质量的特征表示。

（2）虽然当前有一些方法使用过滤法去除错误的伪标签，但是这种方法可能会过

滤掉一些正确的区域，导致网络对这些区域的学习不足。为此，我们提出了一种基于

近似模式的多级标签校正网路（Multi-LevelLabelCorrection，MLC），它的核心是语

义级图（Semantic-LevelGraph，SLG）和标签级图（Class-LevelGraph，CLG）。这两

个图分别存储了特征的语义亲和力和标签的一致性信息，将这两个图的信息进行多次

交换，可以得到更加精确的SLG和CLG，噪声标签也在交换过程中逐渐纠正。

这两种方法可以灵活运用在不同的语义分割网路框架中。本文在语义分割广泛使

用的Cityscapes数据集和PASCALVOC2012数据集上验证了上述两种方法的性能。结

果表明，这两种方法有效地利用了有标签数据和无标签数据，显著提升了分割网络的

性能。更重要的是，与现今已有的半监督语义分割算法比较，本文提出的两种方法取

得了更加优越的结果。

关键词：语义分割，半监督学习，半监督语义分割，深度学习，伪标签，教师-学

生网络

AStudyofSemanticSegmentationAlgorithmsBasedon

Semi-SupervisedLearning

Abstract

Semanticsegmentationisafundamentaltaskincomputervisionthataimstoassigna

specificcategorytoeachpixelinanimage.Semanticsegmentationhasbeenwidelyappliedin

variousfieldssuch