基于半监督学习的内镜手术图像场景分割.pdfVIP

摘要

摘要

内窥镜图像在现代医学中起着重要的作用，基于卷积神经网络(Convolutional

NeuralNetworks，CNN)的图像分割方法可以帮助外科医生更准确地定位手术器械

和病理部位，提高手术成功率。然而，CNN在医学图像处理中仍面临着挑战，尤

其是其性能受限于卷积核的大小，导致难以捕捉图像中的长距离依赖信息，同时

基于CNN的图像分割训练需要大规模的像素级标注数据集，而医学图像由于伦理

道德的约束难以公开，难以实现大规模数据集。为了解决上述问题，本文提出了

一种新的内窥镜图像分割方法，以及一个基于不确定性引导的半监督内窥镜分割

框架和基于像素级掩膜类型识别的自监督预训练方法，本文的主要工作如下：

(1)本文提出了一种基于多尺度卷积-Transformer融合网络（MCTFNet）的内

窥镜图像分割模型，该模型通过自注意力模块获取高分辨率特征中的长距离依赖

关系，同时提取低分辨率的高级特征并在线融合两种信息得到内窥镜图像的全局

表示。在HeiSurF数据集和SAR-RARP50数据集上的实验表明了MCTFNet在不

提高参数量的情况下，获得了比当前最流行的DeeplabV3和HRNet等网络更好的

分割结果，分别达到了80.75%和87.67%的平均Dice分数。

(2)本文提出了一种基于不确定性引导的孪生平均教师半监督图像分割框架，

利用无标注内窥镜图像提高分割性能。该框架通过两个并行的师生结构来处理无

标注内窥镜图像。其中每个学生网络可以获得来自教师和同学网络的伪标签监督，

平均教师和学生网络的结合可以减少单一模型的固有偏差，提高了伪标签的质量。

同时该框架提出了一种基于不确定性的校正方法来强调从网络中获得的高置信度

伪标签，并抑制不可靠部分，以获得更鲁棒的学习。在CaDIS数据集上使用1%，

5%和10%标注数据训练的情况下，该方法分别取得81.70%，86.71%和87.23%

的平均Dice分数，在SAR-RARP50数据集上对应的标注比例分别获得了68.72%，

72.07%和72.81%的平均Dice分数，均优于现有的半监督图像分割方法。

(3)本文提出了一种基于像素级掩膜类型识别的模型预训练方法，在下游任务

之前利用大量的无标注数据进行预训练。该方法通过辅助类别分割和原始图像重

建对模型参数进行优化，使得模型能够更好地捕捉数据的内在结构和模式。该方

法在SAR-RARP50数据集上使用1%，5%和10%标注数据进行微调的情况下，获

得了64.88%，71.07%和71.06%的Dice分数，优于现有的模型预训练方法。

关键词：医学图像分割，半监督学习，内窥镜图像，图像引导手术

I

ABSTRACT

ABSTRACT

Endoscopicimagesplayanimportantroleinmodernmedicine.Theimagesegmen-

tationmethodbasedonConvolutionalNeuralNetworks(CNN)canhelpsurgeonslocate

surgicalinstrumentsandpathologicalpartsmoreaccuratelyandimprovethesuccessrate

ofsurgery.However,CNNstillfaceschallengesinmedicalimageprocessing.Inpartic-

ular,itsperformanceislimitedbythesizeoftheconvolutionkernel,makingitdifficult

tocapturelong-distancedependentinformationinimages.Atthesametime,CNN-based

imagesegmentationtrainingrequireslarge-scalepixel-levelLabeleddatasets