人口统计学意识的儿童腕部骨折细粒度分类-计算机科学-骨折检测-医学 X 射线成像-多模态.pdfVIP

人口统计学意识的儿童腕部骨折细粒度分类

AmmarAhmed,AliShariqImran,ZenunKastrati,SherMuhammadDaudpota

计算机科学系（IDI），挪威科技大學（NTNU），格约维克，2815，挪威

资讯学系，林奈大学，韦克斯乔，35195，瑞典

计算机科学系，苏库尔IBA大学，苏库尔，65200，巴基斯坦

摘要—腕部病理变化经常被观察到，特别是在构成骨折病分布为女性占36%，男性占64%[7]。研究表明，30-40%

例大多数的儿童中。然而，诊断这些状况既耗时又需要专业的知的女孩和40-50%的男孩在童年时期至少经历一次骨折，

识。计算机视觉提供了一个有前景的方法，这取决于大量数据集手腕是最常受伤的部位[8],[9]。在10-17岁的年龄段中，

的可用性，这是医学成像中的一个显著挑战。因此，仅依赖一种

男性腕部骨折的发生率较高，男孩在13-14岁时发病率

模式（如图像）是不够的，尤其是在多样且丰富的数据类型时代。

最高，女孩则在11-12岁时发病率最高，并且男女比例

在这项研究中，我们采用多方面的策略来解决使用极其有限的数

本据集识别腕部病理变化的问题。首先，我们将问题视为细粒度识为1.5:1。这些发现显示了年龄、性别与骨折发生之间的

译别任务，旨在识别传统CNN忽略的细微X光病变。其次，通过关联。我们相信通过整合这些人口统计数据，例如患者

中融合患者元数据与X光图像来增强网络性能。第三，我们不依的年龄和性别，以及腕部X光图像，神经网络可以做出

1赖于ImageNet这样的粗粒度数据集进行预训练，而是利用在更准确的诊断决策。

v细粒度数据集上训练得到的权重。虽然元数据整合已在其他医学

4领域中使用过，但这是腕部病理变化领域的全新应用。我们的结许多结合患者元数据与视觉数据[2]–[6]的研究利

6果显示，细粒度策略和元数据整合在有限的数据集中提高了2%用了传统的CNN架构，如ResNets、DenseNets、VGG

9

2的诊断准确性，并且在一个更大的专注于骨折的数据集中提高了或Inception。然而，这些架构可能不适用于检测外观

1

.超过10%的准确性。相似的手腕X光片中的极小手腕病变，使得它们难以

7IndexTerms—儿童骨折分类，骨折检测，医学X射线成

0准确区分病灶。为了解决这个问题，我们将手腕病理识

5像，细粒度分类，患者元数据，多模态别作为一个细粒度视觉识别（FGVR）问题进行建模，

2

:I.介绍鉴于这些条件的微妙和详细性质，如我们在先前工作中

v

i手部损伤在急诊科常见，其中腕部损伤最为频繁。[10],[11]所展示的那样。我们假设这种方法，通过融合

x

r远端桡骨和尺骨骨折占这些腕部损伤的75%[1]。鉴于人口统计患者元数据以及本研究中引入的联合学习精

a

手部复杂的运动范围及其功能的重要性，精确诊断和治炼架构增强，将在这一特定类别的实例数量有限的情况

疗对于预防长期的功能障碍和残疾至关重要。计算机下优于仅基于图像的方法及其他几种广泛使用的CNN

视觉算法的近期进展在检测创伤相关的X光病理方面架构。

显示出潜力；然而，这些算法通常需要大量的数据集来FGVR的目标是在不需要手动标注和大量数据的

进行泛化，但由于医疗图像数据集的有限性，这是一个情况下对视觉上相似的类别进行分类，这些通常是传统

挑战。因此，结合其他类型的数据与图像可以改进神经CN