鲁棒的不完全模态对齐通过标记最优传输进行眼科疾病分级和诊断-计算机科学-眼科成像-最优传输.pdfVIP

鲁棒的不完全模态对齐通过标记最优传输进行眼科疾

病分级和诊断

QinkaiYu,JianyangXie,YitianZhao,ChengChen,LijunZhang,

LimingChen,JunCheng,LuLiu,YalinZheng,YandaMeng

ComputerScienceDepartment,UniversityofExeter,Exeter,UK.

EyeandVisionSciencesDepartment,UniversityofLiverpool,Liverpool,UK.

NingboInstituteofMaterialsTechnologyandEngineering,ChineseAcademyof

Sciences,Ningbo,China.

本DepartmentofElectricalandElectronicEngineering,TheUniversityofHong

Kong,HongKong,China.

译KeyLaboratoryofSystemSoftware,InstituteofSoftware,ChineseAcademyof

中Sciences,Beijing,China.

SchoolofComputerScienceandTechnology,DalianUniversityofTechnology,

1

vDalian,China.

9InstituteforInfocommResearch,A*STAR,Singapore.

9

9Y.M.Meng@exeter.ac.uk

4

0

.

7

0摘要多模态眼科成像诊断结合了彩色眼底成像和光学相干断层扫描（OCT），

5

2提供了眼部病理的全面视图。然而，全球医疗资源分布不均常常导致实际

:临床情境中遇到多模态数据不完整的问题，这显著削弱了诊断准确性。现

v

i有的常用深度学习流水线，如模式补全和蒸馏方法，面临明显的局限性：

x

r(1)补全方法难以准确重构关键病灶特征，因为OCT中的病灶是局部的，

a

而眼底图像风格各异。(2)蒸馏方法严重依赖完全配对的多模态训练数据。

为解决这些问题，我们提出了一种新的多模态对齐和融合框架，能够在眼

科诊断任务中稳健处理缺失模式的问题。通过考虑OCT和眼底图像的独

特特征