大型语言模型评估独立注意力辅助图神经网络结合空间和结构信息交互用于精准内镜图像分割.pdfVIP

大型语言模型评估独立注意力辅助图神经网络结合空间和结构信息交互用于精

准内镜图像分割

1,2,32

JuntongFan,ShuyiFan,DebeshJhaIEEESeniorMember,ChangshengFang,

12,†2,†

TieyongZeng,HengyongYuIEEEFellow,DayangWangIEEESeniorMember

DepartmentofMathematics,TheChineseUniversityofHongKong,HongKong.

DepartmentofElectronicandComputerEngineering,UniversityofMassachusetts,Lowell,

Lowell,MA,USA.

DepartmentofRadiology,NorthwesternUniversity,Evanston,IL,US∗

本

译Abstract1.介绍

中

结直肠癌（CRC）是全球癌症相关死亡的主要原

1准确的息肉内镜图像分割对于早期结直肠癌检测

v至关重要。然而，由于与周围黏膜对比度低、镜面高光因之一，大多数病例随着时间的推移从癌前息肉发展

8而来[1]。因此，在内镜结肠镜检查过程中早期和准确

2和边界不清晰等因素，这一任务仍然具有挑战性。为了

0地检测息肉[2]对有效预防和干预至关重要。如图1所

7解决这些问题，我们提出了FOCUS-Med方法，该方法示，临床上，精确的息肉分割可以带来几个关键好处：

0代表了融合空间和结构图的注意力特征以实现内镜医

.(1)提高检测准确性，使即使是微妙或扁平的病变也能

8学成像中的上下文感知息肉分割。FOCUS-Med集成了

0以更高的信心被识别；(2)精确定位和测量，有助于评

5一个双图卷积网络（Dual-GCN）模块来捕捉上下文的

2空间和拓扑结构依赖关系。这种基于图的表示使模型估息肉大小、形态及切除边缘；(3)标准化记录和监测，

:确保在临床访问中保持一致的记录，并促进培训和审

v能够更好地通过利用被原始图像强度掩盖的拓扑线索

i计追踪；以及(4)帮助术后分析，帮助医生回顾性地评

x和空间连通性区分息肉与背景组织。它增强了模型保

r估漏诊病变或手术错误。

a持边界并描绘典型息肉复杂形状的能力。此外，还采用

了位置融合独立自注意力以强化全局上下文整合。为ColonoscopyImageAcquisitionAIModel

了缩小编码器-解码器层之间的语义差距，我们引入了

一种可训练的加权快速归一化融合策略以实现高效的

多尺度聚合。值得注意的是，我们是首次引入大型语言

模型（LLM）来提供与专家一致的分割质量定性评估