CU-ICU：通过文本到文本转换变压器针对 ICU 数据集定制无监督指令微调语言模型-计算机科学-大语言模型-医疗保健.pdfVIP

CU-ICU：通过文本到文本转换变压器针对ICU数据

集定制无监督指令微调语言模型

TeerapongPanboonyuen

FacultyofEngineering

ChulalongkornUniversity

teerapong.panboonyuen@

Abstract

本

译将大型语言模型集成到特定领域如医疗保健中提出了独特的挑战，包括领域

中适应和有限的标注数据。我们介绍了CU-ICU，一种利用Text-to-TextTransfer

Transformer（T5）架构为ICU数据集定制无监督指令微调语言模型的方法。

1CU-ICU采用稀疏微调方法，结合了少量样本提示与选择性参数更新，实现

v

5了高效适应并最大限度地减少了监督需求。我们在关键的ICU任务——早

5期败血症检测、死亡率预测和临床笔记生成上的评估表明，CU-ICU在标准

6

3微调方法的基础上始终提高了预测准确性和可解释性。值得注意的是，在其

1最高效的配置中，CU-ICU仅更新了不到1%的模型参数，就实现了高达15%

.

7的败血症检测准确性的提高和20%生成临床相关解释能力的增强。这些结

0果确立了CU-ICU作为一个可扩展、低开销解决方案的地位，能够在现实世

5

2界的ICU环境中提供准确且可解释的临床决策支持。

:

v

i

x1介绍

r

a

大型语言模型（LLMs）在包括医疗保健应用在内的多种自然语言处理任务中展现了显著的

能力。然而，将这些模型有效适应重症监护室（ICU）等专业且数据稀缺的领域仍然具有挑

战性。ICU环境需要及时、准确的预测以及可解释性的说明来支持关键的临床决策。传统的

微调方法通常需要大量的标注数据和计算资源，在实际临床环境中由于注释有限而限制了它

们的应用。

近期迁移学习的进步，特别是文本到文本的迁移变换器（T5）[22]，为基于指令的任务微调

提供了一个灵活的框架。扩大指令微调模型的应用范围进一步拓宽了它们的适应性[6]，包

括在医疗领域。尽管有了这些改进，在医学数据集上对大语言模型进行微调仍然需要大量的

资源和数据。

为了解决这些限制，我们提出了CU-ICU框架，该框架通过稀疏参数高效微调（PEFT）方法

定制无监督指令微调的T5模型以用于重症监护室任务。具体来说，CU-ICU应用了三种最先

MypassionisdedicatedtosupportingICUhealthcareprofessionalsinThailandbydevelopinginnovative

AIassistancetools.Thisworkisindependentlydriven,withoutexternalfundingorformalprojects.Formore

aboutmyresearchandupdates,pleasevisithttps:/