条件图神经网络在软组织变形和力预测中的应用-计算机科学-图神经网络-触觉反馈-虚拟现实.pdf

条件图神经网络在软组织变形和力预测中的应用

MadinaKojanazarova,FlorentinBieder,RobinSandkühler,andPhilippe

C.Cattin

UniversityofBasel,DepartmentofBiomedicalEngineering,Allschwil,Switzerland

M.Kojanazarova@unibas.ch

摘要虚拟环境中的软组织仿真对于医疗应用越来越重要。然而，软组织的

高度可变形性带来了重大挑战。现有方法依赖于分割、网格划分和组织刚

本度特性的估算。此外，触觉反馈的集成需要精确的力估计以实现更沉浸式的

译体验。我们介绍了一种新颖的数据驱动模型，一个条件图神经网络(cGNN)

中来应对这种复杂性。我们的模型采用表面点和施加力的位置，并专门设计

用于预测这些点的变形及它们所受的作用力。我们在实验收集的软组织仿

1体表面追踪数据上训练了该模型，并使用迁移学习通过初始阶段的质量弹

v

5簧模拟训练，然后用实验数据进行微调来克服数据稀缺问题。这种方法提

1高了模型的泛化能力并使其能够准确预测组织变形和相应的交互力。结果

3表明，该模型可以以mm的距离误差预测最多mm的变形，

5

0并且以N的绝对误差预测最多N的作用力。我们的数据

.

7驱动方法为虚拟环境中软组织仿真的复杂挑战提供了一个有前景的解决方

0案。除了在医疗仿真中的应用，这种方法还有潜力惠及需要真实软组织仿

5

2真的各个领域。

:

v

iKeywords:软组织变形，图神经网络，触觉反馈

x

r

a

1介绍

虚拟现实（VR）显著影响了医疗应用，包括术前规划、术中导航、培训

和患者康复[?,?]。这些沉浸式模拟使医学专业人员和受训者能够与虚拟解

剖结构互动，从而提高理解并增加患者安全[?,?]。将触觉反馈系统与VR模

拟相结合可增强真实感和交互性，允许用户操纵虚拟对象或组织。这种逼真

的力反馈使外科医生能够感知组织阻力和其他触觉感觉，从而使培训更加有

效，并改善手术结果[?]。一种这样的视觉触觉系统在[?]中进行了演示，在

该系统中，患者特异性头骨计算机断层扫描（CT）体积被以可视和触觉的

方式呈现而无需生成网格。

2MadinaKojanazarovaetal.

准确模拟软组织变形是基于VR的解剖学模拟中的一个重要挑战。软

组织表现出复杂的机械行为，包括弹性、塑性和粘性，使得它们的仿真计算

需求很高[?,?]。传统的生物力学方法如有限元法（FEM）和质量弹簧模型

（MSM）已被用于模拟软组织变形[?]。这些方法通常需要耗时的过程，比如

从图像体积中进行组织分割、网格生成以及估计组织刚度属性以实现逼真的

行为仿真[?,?,?]。对于可变形物体的逼真触觉反馈模拟也依赖于生物力学方

法的结果[?,?]。因此，如术前规划等精准实时交互应用难以实现。

相关工作软组织变形