通过输入驱动的显著性适应启用设备端医疗 AI 助手.pdfVIP

通过输入驱动的显著性适应启用设备端医疗

AI助手

UttejKallakurik,EdwardHumes,RithvikJonna,XiaominLin,TinooshMohsenin

JohnsHopkinsWhitingSchoolofEngineering,Baltimore,Maryland,UnitedStates

{ukallak1,ehumes2,djonna1,xlin52,tinoosh}@

摘要—大型语言模型（LLMs）对医疗场景有显著影响，但

在实时、资源受限的环境中部署仍然过于庞大，例如边缘设备。

在这项工作中，我们介绍了一种新型医疗辅助系统，通过我们

的通用压缩框架进行优化，将大型语言模型（LLMs）定制用于

本专门领域。通过对特定领域的数据测量神经元的重要性，我们

的方法可以激进地修剪不相关的神经元，在减少模型大小的同

译时保持性能。在剪枝之后，我们应用后训练量化进一步减少内

中存占用，并在包括MedMCQA、MedQA和PubMedQA在

3内的医疗基准上评估压缩后的模型。我们还部署了50%压缩的

vGemma和67%压缩的LLaMA3模型到JetsonOrinNano

5

0（峰值18.7W）和RaspberryPi5（峰值6.3W），在硬件限

1制下实现了实时、节能的推理。图1.困惑度与模型大小（以GB为单位，等效32位）的对比，针对LLaMA3-

1IndexTerms—大型语言模型（LLMs）、剪枝、显著性、8B及其剪枝变体。我们的方法（紫色星号）在所有压缩模型中实现了最低的困

1惑度（10.9），同时将参数数量减少到43亿。与LLM-Pruner[17]、SliceGPT[4]

.边缘部署、量化、医疗NLP、设备端AI

6和ATP[15]相比，我们的方法在一个更小的模型大小下实现了最多低1.9

0的困惑度。这证明了任务特定剪枝在激进压缩下保持性能的有效性。

5I.介绍

2关的数据。至关重要的是，变压器模型中的神经元重要

:大型语言模型（LLMs）已经迅速提升了自然语言

v性会随着输入分布的变化而变化；通过利用像Medical

i理解[14]、生成[6]和推理[25]的能力，成为在各种应

xMeadow[10]这样的数据集，我们可以识别出对医学语

r用中至关重要的工具——例如通用对话[5]、引导式对

a言任务至关重要的神经元。这种基于输入的剪枝方法暴

话模拟[20]、内容理解[18]以及特定领域的问题回答

露并保留了与临床相关的神经元，同时安全地移除不活

[12,13]。这些参数以十亿计的模型非常有效，但在临床

跃的神经元，从而在特定任务性能损失最小的情况下实

环境或移动健康应用程序中实时使用的边缘设备上过

现显著的模型压缩。

于消耗资源。在医疗应用中，人们对将LLMs作为医生

图1展示了LLaMA3-8B（这里的B代表参数的十

和患者的虚拟助手越来越感兴趣。这些助手必须解释特