临床语义智能（CSI）：模拟专家临床医生的认知框 架以进行全面的口腔疾病诊断-计算机科学-口腔疾病诊断-多模态人工智能-临床决策支持.pdfVIP

临床语义智能（CSI）：模拟专家临床医生的认知框

架以进行全面的口腔疾病诊断

ab,cd

MohammadMashayekhi,SaraAhmadiMajd,ArianAmirAmjadi,

ParsaHosseinie

aGilanUniversityofMedicalSciences,Rasht,Iran

bUniversityofGöttingen,Göttingen,Germany

cUniversityofTehran,Tehran,Iran

dHamadanUniversityofTechnology,Hamadan,Iran

eIslamicAzadUniversity,Tehran,Iran

本

译

中Abstract

1

v口腔疾病的诊断呈现了一个复杂临床挑战，其特征是病理范围广泛且症状

0

4相互重叠。为了解决这一问题，我们开发了临床语义智能（CSI），这是一种

1

5新的人工智能框架，通过计算建模专家临床医生的认知过程来诊断118种

1

.不同的口腔疾病。我们的核心假设是，超越简单的模式匹配以模仿专家推

7

0理对于构建具有临床实用性的诊断辅助工具至关重要。

5

2CSI的架构集成了一个微调过的多模态CLIP模型与一个专门的ChatGLM-

:

v6B语言模型。该系统执行分层诊断推理树（HDRT），这是一个结构化的框

i

x

r架，提炼了系统的、多步骤的鉴别诊断逻辑。该框架以两种模式运行：快

a

速模式用于快速筛选和标准模式利用完整的HDRT进行交互式深入的诊断

评估。

为了训练和验证我们的系统，我们整理了一个包含4,310张图像的主要

数据集，并补充了176张外部保留图像用于最终验证。一个基于临床知识的

数据增强策略将我们的训练数据扩展到了超过30,000个图像文本配对。在

一个内部测试集中，CSI的快速模式实现了73.4%的准确率，而通过HDRT

驱动的标准模式，这一数值增加到了89.5%。性能提升直接归因于分层推理

过程。在此，我们详细介绍了CSI框架的设计理念、开发和严格评估。

Keywords:口腔疾病诊断,多模态人工智能,临床决策支持,对比语言图像

预训练,分层推理,ChatGLM-6B

1.介绍

1.1.口腔诊断的临床挑战

口腔疾病的准确及时诊断是患者护理的基石，但仍然是一个持续存在

的临床挑战。从常见的炎症性疾病到罕见的恶性肿瘤，广泛病理范围经常

表现为模糊且重叠的临床特征Youngbloodetal.(2017);Alrashdanetal.

(2016);Scully(2022)。这种模糊性可能导致诊断不确定，从而造成显著延误

和误诊。事实上，研究表明多达14%的口腔癌患者经历过这样的延迟，这直

接与较差的预后相关Scottetal.(2022)。诊断问题进一步复杂化的原因在

于某些疾病的相对罕见性，如寻常型天疱疮或卡波西肉瘤，限制了许多医

生的临床接触AkpanandMorgan(2021);Cattelan(2020)。

1.2.我们的方法：模仿专家临床医生的思维

传统的医学影像人工智能方法通常将诊断视为分类任务，这并不能捕

捉专家临床医生的细致、迭代推理过程。我们的工作基于一种不同的理