评估成本高效大型语言模型在基准生物医学任务中的有效性-计算机科学-大语言模型-生物医学.pdfVIP

评估成本高效

大型语言模型在基准生物医学任务中的有效性

伊斯拉特·贾汗，Md泰姆迪·拉赫曼·拉萨尔，春彭，吉米·香吉·黄

约克大学

多伦多，安大略省，加拿大

摘要

本文对适用于多种生物医学任务的经济高效的大型语言模型（LLMs）进行了全面评估，这

些任务涵盖了文本和图像模态。我们在诸如生物医学文本分类与生成、问答以及多模态图像

处理等任务上评估了一系列闭源和开源的LLMs。我们的实验结果表明，并没有一种单一的

LLM能够在所有任务中始终胜过其他模型。相反，不同的LLM在不同任务中表现出色。虽

然一些闭源的LLM在特定任务上表现强劲，但它们的开源对应物也取得了相当（有时甚至更

好）的结果，同时还具备诸如推理速度更快和隐私保护增强等额外优势。我们的实验结果为选

本择最适合特定生物医学应用的模型提供了宝贵的见解。

译大型语言模型，LLM，多模态，生物医学，LLM评估。关键词：

中

1

v1.介绍

5

4大型语言模型（LLMs）在各个领域展示了令人印象深刻的能力[1]，包括生物医学[2]。

0

4最近，LLMs的能力已经从仅仅理解文本数据进一步扩展，使其能够理解多模态数据[3]。这

1.些改进的LLM能力使得它们可以在各种实际的生物医学应用中得到利用。在生物医学领

7

0域，LLMs有可能执行诸如药物发现、疾病诊断、放射报告生成等关键任务[2,3]。

5然而，尽管人工智能有可能彻底改变生物医学领域，但由于大语言模型的开发和部署成

2

:本高昂（例如计算资源、API成本、数据标注），在实际生物医学环境中利用大语言模型的

v

i应用非常有限[3]。此外，为了模型开发和推理而对外共享敏感数据会引发隐私问题，需要

x

r安全的数据处理管道，这进一步增加了成本。

a

为此，本文旨在研究如何在实际场景中执行多样化生物医学任务时保持准确性的同时，

使大语言模型更加高效和经济。这需要对当前可用的小型大语言模型进行全面评估，以研究

它们在基准生物医学数据集和任务中的能力和局限性。我们的假设是，尽管较大的大语言

模型通常表现出更优的性能，但战略性选择的小型大语言模型可以提供性能与效率的良好

平衡。

通过对比成本效益高的开源和闭源模型的性能，本文做出了以下关键贡献：

对于开源模型，这将提供有关选择哪些模型进行进一步微调以使其在某些生物医

学任务中更加专业的见解。

对于闭源模型，除了通过各自的API识别出哪些可以用于实际应用外，我们的发现

还将有助于选择合适的闭源模型来开发专门的开源生物医学模型（即使用闭源模型

生成合成数据以进行持续预训练或指令微调的开源模型）。

jhuang@yorku.ca

2

图1.本文评估的生物医学任务概述。ChEBI-20-MM和PathVQA的图像来自Liu