面向可扩展的 SOAP 笔记生成：一种弱监督多模态框架.pdfVIP

面向可扩展的SOAP笔记生成：一种弱监督多模态框架

112

SadiaKamal,TimOates,JoyWan

1DepartmentofComputerScience,UniversityofMaryland,BaltimoreCounty

2DepartmentofDermatology,JohnsHopkinsUniversitySchoolofMedicine,Baltimore,MD

sadia1402@,oates@,jwan7@

Abstract件一致性以及让临床医生更加专注于以患者为中心的

护理提供了有前景的解决方案。大型语言模型（LLMs）

本皮肤癌是全球最常见的癌症形式，每年的医疗保健支出在医学自然语言处理任务中的必威体育精装版进展，包括临床总

译超过80亿美元。在临床环境中，医生使用详细的SOAP结、问答[24]、实验室报告解释[8]和敏感信息去标识

（主观、客观、评估和计划）笔记记录患者就诊情况。化[29]，取得了令人印象深刻的进步。这些模型能够生

中然而，手动生成这些笔记非常耗时，并且导致了医务成连贯且流畅的临床叙述，使其成为医学文档编制中

1人员的职业倦怠。在这项工作中，我们提出了一种弱有用的工具。然而，通用目的的语言模型通常缺乏在临

v

8监督多模态框架，从有限的输入中生成结构化的临床床环境中所需的领域特定推理能力，难以理解微妙的

2SOAP笔记，包括病变图像和稀疏的临床文本。我们的医疗背景，并且一般局限于基于文本的输入。它们在结

3

0方法减少了对人工标注的依赖，实现了可扩展、基于构化笔记生成等任务中的表现进一步受到限制，尤其

1.临床实际的文档记录，同时减轻了医务人员的工作负是在应用于皮肤病学等领域时。

6担，并降低了对大量标注数据的需求。我们的方法在关

0现有的自动SOAP记录生成方法，如K-SOAP[13]，

5键的临床相关性指标上达到了与GPT-4o、Claude和

2DeepSeekJanusPro相当的表现。为了评估临床质量，严重依赖于广泛的医生-患者对话和大规模标注数据集

:

v我们引入了两个新的指标MedConceptEval和Clinical资源，在皮肤病和皮肤病变记录方面这些资源特别有

i

xCoherenceScore（CCS），分别评估语义与专家医学概限[27]。此外，以结构化格式捕捉皮肤状况的视觉特征

r以及其背后的临床推理仍然是一个重大挑战。

a念以及输入特征的一致性。

为了解决这些限制，我们提出了一种新颖的弱监

1.介绍督多模态框架，该框架能够从有限输入（包括病灶图像

皮肤癌仍然是美国最常见的致命癌症之一，每天和稀疏临床文本）生成结构化的SOAP记录。与之前

大约有9,500例新病例被诊断出来[21]，这突显了临床仅专注于基于文本的SOAP生成或皮肤病诊断的方法

记录作为有效沟通、准确诊断和知情治疗计划基础的不同，我们的方法独特地结合了检索增强的临床知识、

关键作用。弱监督和多模态合成，以实现领域对齐的文档化，而无

结构化的格式如SOAP