面向整体的手术场景图-计算机科学-外科手术场景理解-计算机辅助干预系统-机器学习.pdfVIP

面向整体的手术场景图

JongminShin,EnkiCho,KaYoungKim,

JungYongKim,SeongTaeKim,andNamkeeOh

DepartmentofSurgery,SamsungMedicalCenter,Seoul06351,RepublicofKorea

KyungHeeUniversity,Yongin17104,RepublicofKorea

摘要外科场景理解对于计算机辅助干预系统至关重要，需要对包含手术

工具、解剖结构及其相互作用等多样化元素的外科场景进行视觉理解。为

本了有效地表示外科场景中的复杂信息，已经探索了基于图的方法来结构性

译地建模外科实体及其关系。之前的外科场景图研究证明了使用图表示外科

场景的可行性。然而，在基于图的表现中，某些方面——例如工具-动作-目

中标的各种组合以及操作工具的手的身份——尽管很重要，但仍未被充分探

1索。为了将这些方面纳入图形表示，我们提出了Endoscapes-SG201数据

v集，其中包括对工具-动作-目标组合和手身份的注释。我们还引入了SSG-

1

4Com，这是一种旨在学习并表示这些关键元素的基于图的方法。通过在下

5游任务如安全视图评估和动作三元组识别上的实验，我们展示了整合这些

5

1重要的场景图组件的重要性，突显了它们对理解外科场景的重要贡献。代

.码和数据集可在/ailab-kyunghee/SSG-Com获取。

7

0

5Keywords:场景图·外科手术场景理解·胆囊切除术·行为三元组识

2

:别·安全关键视图

v

i

x

r1介绍

a

手术场景理解对于计算机辅助手术至关重要，因为它捕捉了多样化的视

觉信息——包括外科工具、解剖结构及其在手术场景中的空间和功能关系。

从手术场景中捕获的信息在各种手术应用中发挥着关键作用，包括工作流程

分析[9,13,14]，自动安全视图（CVS）评估[10]和手术报告生成[6]。

为了表示手术场景中的复杂信息，基于图的方法[4,5,10]已被探索用于

结构化建模手术实体及其关系。Islam等。[5]利用增强有边界框和交互注

释的EndoVis-18[1]数据集生成表示单个解剖结构、外科工具及其相互作用

的场景图。Holm等人。[4]生成包含细粒度手术工具和解剖[2]的场景图。

同等贡献；通讯作者。

2Shin,Cho,Kimetal.

表1:来自每个数据集生成的图中所包含的信息类型比较。Endoscapes-

SG201是我们提出的基于Endoscapes-Bbox201[8]并添加注释和细化标签

的数