MultiRetNet：一种用于分级糖尿病视网膜病变的多模态视觉模型和延迟系统-计算机科学-机器学习-糖尿病性视网膜病变-医疗保健.pdfVIP

MultiRetNet：一种用于分级糖尿病视网膜病变的多模态视觉模

型和延迟系统

珍妮·希*1凯蒂·斯皮瓦科夫斯基*12

jeanshe@kspiv@

I.摘要由糖尿病引起的威胁视力的并发症，在社会经济地位较

低的人群中患病率尤为高[2]。合并症的存在显著影响

糖尿病视网膜病变（DR）是可预防失明的主要原因，疾病进展，高血压将严重DR的风险增加2-3倍，慢性

影响了全球超过1亿人。在美国，低收入社区的个体在肾脏病则可加速其进展高达4倍[3],[4]。截至2025年，

诊断前进展到晚期的风险更高，这主要是由于筛查访问首个用于诊断DR的人工智能驱动的、经FDA批准的

受限[1]。共病情况进一步加速疾病进程。我们提出了工具（IDx-DR）已在全球范围内使用[5]。然而，它仅

本MultiRetNet，这是一种结合视网膜成像、社会经济因限于使用专业数字眼底相机拍摄的高质量图像，并不能

素和共病档案的新流程，旨在提高DR分期准确性，并处理质量差的照片，如模糊的照片。对于社会经济地位

译与临床延期系统集成以实现人机交互式的临床实施。我较低的人群而言，主要挑战是眼底照片的质量差，这可

中们在三种多模态融合方法上进行了实验，并确定通过全能会延迟DR的诊断。事实上，14%的成像案例需要患

连接层进行融合是最具通用性的方法学。我们合成对抗者返回进行另一次会诊，延长了开始治疗的时间[6]。

1

v性低质量图像并使用对比学习来训练延期系统，引导模我们提出了一种如图1所示的流程，该流程将视网

8型识别出需要临床医生审查的分布外样本。通过保持对膜成像数据与健康的社会经济决定因素及共病状况结

3次优图像的诊断准确性并整合关键健康数据，我们的系合起来，以更准确地对糖尿病性视网膜病变进行分期。

7统可以改善早期检测，特别是在那些DR晚期才被首次我们在对抗图像（这些图像是模糊的或不规则旋转的）

4

1发现的服务不足人群中。这种方法可能减少医疗保健成上训练了一个延期系统，以预测何时应由临床医生而不

7.本，提高早期检出率，并解决获取护理方面的不平等现是MultiRetNet审查分布外样本。

0象，促进医疗保健公平。

5我们的计算机视觉流程在糖尿病性视网膜病变筛查

2II.介绍方面代表了重大进步；实施该系统可以减少每例因糖尿

:病性视网膜病变[7]导致失明的终生费用估计值93,000

v

i糖尿病性视网膜病变（DR）是全球导致可预防失明美元，同时可能提高未充分服务社区中早期检测率，从

x

r的主要原因之一；仅在美国，就有近一千万人患有这种而也提高了对无论社会经济因素如何均需实现医疗保

a健公平性的认识。

同等贡献

1电气工程与计算机科学系，麻省理工学院

2生物工程系，麻省理工学院

1

MultiRetNet：一个多模态视觉模型与延迟系统

图1:多返回管道网与一个体外多模态预测器结合的人类决策延迟系统。

III.相关工作B.单模基线模型

已经产生了预测DR的深度学习模型，例如Dai等ResNet18我们从在ImageNet上预训练的

人(2021)[8]，他们识别视网膜图像上的病灶并标记其ResNet18主干网络开始作为我们的图像分类器。为了

医学分类。然而，现有模型仅利用图像作为输入，忽略建立一个基线，我们在数据集