真相、信任与困扰：边缘医疗人工智能-计算机科学-大语言模型-数字健康.pdfVIP

真相、信任与困扰：边缘医疗人工智能

1221

MohammadAnasAzeez,RafiqAli,EbadShabbir,ZohaibHasanSiddiqui,

34*3

GautamSiddharthKashyap,JiechaoGao,UsmanNaseem

1JamiaHamdard,NewDelhi,India

2DSEU-Okhla,NewDelhi,India

3MacquarieUniversity,Sydney,Australia

4CenterforSDGC,StanfordUniversity,California,USA

Abstract它们闭源的性质限制了透明度、集成以及在受

监管环境中的合规性。

大型语言模型（LLMs）在通过实现自动化

本的医学问答来变革数字健康方面具有巨大相比之下，新兴的开源模型如AlpaCare-

译的潜力。然而，确保这些模型达到行业对13B1(Zhangetal.,2023)、BioMistral-7B-DARE2

中事实准确性、实用性和安全性的关键标准(Labraketal.,2024)和Mistral-7B3(Samoetal.,

仍然是一个挑战，特别是对于开源解决方2024)提供了更大的灵活性和可访问性。然而，

1

v案而言。我们提出了一种严格的基准测试它们在现实世界医疗环境中的可靠性仍然有待

3框架，通过包含超过1,000个健康问题的

8探索。为了解决这一问题，我们提出了一个系

9数据集进行评估。我们在诚实、有用性和

2无害性上评估模型性能。我们的结果显示，统性的评估方法，针对长篇消费者医疗问答，

0

.在被评估的模型——Mistral-7B、BioMistral-在三个维度上进行评价：事实准确性、实用性

7

07B-DARE和AlpaCare-13B之间存在事实可和安全性。

5

2靠性和安全性之间的权衡关系。AlpaCare-我们利用了包含1,077个医学问题的基准

:13B实现了最高的准确率（91.7%）和无害

v测试，采用了双盲A/B测试，并由持证医师进行

i性（0.92），而BioMistral-7B-DARE中的领

x

r域特定调优尽管规模较小，但提升了安全专家标注。我们的配对分析表明，BioMistral-7B-

a

性能（0.90）。少量样本提示改进了从78%DARE(Labraketal.,2024)和Mistral-7B(Samo

到85%的准确性，并且所有模型在复杂查et