用于无训练手术视频分割的增强记忆 SAM2-计算机科学-机器学习-手术器械分割-零样本学习.pdfVIP

用于无训练手术视频分割的增强记忆SAM2

MingYin*,FuWang,XujiongYe,YandaMeng,andZeyuFu*

DepartmentofComputerScience,UniversityofExeter,UK

{my417,Z.Fu}@exeter.ac.uk

摘要外科手术视频分割是计算机辅助手术中的一项关键任务，对于提高

手术质量和患者治疗效果至关重要。最近，SegmentAnythingModel2

(SAM2)框架在图像和视频分割方面展示了显著的进步。然而，由于手术

本视频的独特性质——快速的器械移动、频繁遮挡和复杂的器械与组织交互

译——导致SAM2的贪婪选择记忆设计固有限制被放大，在复杂长视频的分

割性能上有所下降。为了解决这些挑战，我们引入了MemoryAugmented

中(MA)-SAM2，这是一种无需训练的视频对象分割策略，其特点是具有新

2颖的情境感知和遮挡鲁棒性记忆模型。MA-SAM2在面对由复杂器械运

v动引起的遮挡和交互时表现出强大的鲁棒性，并在全程视频中保持对物

7

7体分割的准确性。采用多目标、单循环、单一提示推理进一步提高了多器

5械视频跟踪过程的效率。无需引入任何额外参数或进行进一步训练，MA-

9

0SAM2分别在EndoVis2017和EndoVis2018数据集上比SAM2提高了

.4.36%和6.1%的性能，展示了其应用于实际手术中的潜力。代码可在

7

0/Fawke108/MA-SAM2获取。

5

2

:Keywords:手术器械分割·零样本学习·环境感知和遮挡鲁棒记忆。

v

i

x

r

a1介绍

手术器械分割（SIS）是医学成像和手术场景分析的关键组成部分，旨

在实现从术中视频中以像素级定位和轮廓提取器械[6,25,27,13]。尽管基于

深度学习的SIS方法在分段准确性及鲁棒性方面取得了显著进展，但这些方

法通常依赖大量的专家标注，并且在实现手术视频的有效实时分割时遇到重

大挑战[23,3,16,10,22]。

分段一切模型（SAM）[7],一个用于提示式图像分割的基础模型，通过

实现强大的零样本泛化能力，在不同的分割任务中彻底改变了该领域。利用

用户提供的提示，SAM能够生成静态图像中对象的精确分割掩码。这种卓越

的零样本学习能力已在多项研究[18,11]中得到验证，例如PerSAM[28],它

2M.Yinetal.

图1.MA-SAM2与SAM2在遮挡处理和时间一致性方面的性能对比：(a)在器械重新出

现时的时间跟踪，(b)多个器械重叠时的时间跟踪。

仅使用一张参考图像就能高效地将SAM适应于特定的对象或风格。最近的

研究进一步探索了SAM在医疗领域的潜力，包括手术器械分割[9,19,26]。

然而，SAM的初始设计针对的是静态图像，