面向整体的手术场景图-计算机科学-场景图-外科手术场景理解-安全关键视图.pdfVIP

面向整体的手术场景图

JongminShin,EnkiCho,KaYoungKim,

JungYongKim,SeongTaeKim,andNamkeeOh

DepartmentofSurgery,SamsungMedicalCenter,Seoul06351,RepublicofKorea

KyungHeeUniversity,Yongin17104,RepublicofKorea

摘要手术场景理解对于计算机辅助干预系统至关重要，需要对包含多种

元素（如外科工具、解剖结构及其相互作用）的手术场景进行视觉理解。为

本了有效表示手术场景中的复杂信息，已经探索了基于图的方法来结构性地

译建模手术实体及其关系。之前的手术场景图研究证明了使用图形表示手术

场景的可能性。然而，在基于图的表示中，某些手术场景方面的内容——例

中如工具-动作-目标的各种组合和操作工具的手的身份——尽管重要，但仍

2未得到充分探讨。为了将这些方面纳入图表示中，我们提出了Endoscapes-

v

1SG201数据集，其中包括对工具-动作-目标组合以及手身份的标注。我们

4还引入了SSG-Com，这是一种基于图的方法，旨在学习和表示这些关键元

5素。通过在下游任务（如安全视图评估和动作三元组识别）上的实验，我们

5

1证明了整合这些重要的场景图组件的重要性，突显了它们对理解手术场景

7.的重要贡献。代码和数据集可在/ailab-kyunghee/

0SSG-Com获得。

5

2

:Keywords:场景图·外科手术场景理解·胆囊切除术·动作三元组识

v

i别·安全关键视图

x

r

a

1介绍

手术场景理解对于计算机辅助手术至关重要，因为它捕捉了多样化的视

觉信息——包括外科工具、解剖结构及其在手术场景中的空间和功能关系。

从手术场景中捕获的信息在各种外科应用中发挥关键作用，包括工作流程分

析[9,13,14]，自动安全视图(CVS)评估[10]和手术报告生成[6]。

为了表示手术场景中的复杂信息，已经探索了基于图的方法[4,5,10]来

结构化地建模手术实体及其关系。Islam等。[5]使用增强有边界框和交互

注释的EndoVis-18[1]数据集生成表示单一解剖结构、手术工具及其相互

同等贡献；通讯作者。

2Shin,Cho,Kimetal.

表1:比较来自每个数据集生成的图形中包含的信息类型。Endoscapes-

SG201是我们提出的数据集，基于Endoscapes-Bbox201[8]，增加了额外

的标注和细化的标签。括号中的数字(#)表示每种类别中的类