一个基础的多模态模型用于少量样本学习.pdfVIP

一个基础的多模态模型用于少量样本学习

1111

PengtaoDang,TingboGuo,ShaCao,andChiZhang

1OregonHealthScienceUniversity,Portland,OR,USA

摘要

本少量样本学习（FSL）是一种机器学习范式，旨在从少量标记样本中泛化模型，通常

译每个类别少于10个。FSL在生物医学、环境、材料和机械科学等领域尤为重要，在这些

中领域中，样本有限且数据收集往往代价高昂、耗时或受伦理约束。在这项研究中，我们

1提出了一种创新的FSL方法，展示了通过训练一个大型多模态模型（LMMM），该模型

v

6在一个跨越不同领域、任务类型和输入模态的独立任务集上进行训练，可以显著改善

4

7FSL模型的泛化能力，在相同类型的任务上优于基于传统元学习的方法。为此，我们首

4

0先构建了一个多模态模型少量样本数据集（M3FD，包含超过10K个少量样本），其中

.

8包括2DRGB图像、2D/3D医学扫描、表格和时序数据集，并从中手动整理了如分类

0

5等FSL任务。我们进一步引入了M3F（针对少量样本学习的多模态模型框架），这是一

2个专门为数据受限科学应用定制的新颖大型多模态模型框架。M3F通过一个模块化的

:

v

i管道支持广泛的数据类型。通过对M3FD进行微调，M3F提高了模型性能，使LMMM

x

r在实际FSL部署中成为可能。源代码位于/ptdang1001/M3F。为

a

了促进对复杂FSL数据的访问并推动公共使用的可重复性，M3FD配有一个灵活且用

户友好的工具，该工具支持高效查询、任务特定采样和预处理。综上所述，我们的数据

集和框架提供了一个统一的、可扩展的解决方案，显著降低了在数据稀缺科学领域应

用LMMMs的门槛。

1介绍

科学研究和工业中许多高价值的挑战都以数据极度稀缺为特征。标准的人工智能模型

通过在大规模数据集上训练实现高性能，但在关键领域中的应用受到严重限制，这些领域

的数据收集成本高昂、速度慢或从伦理角度不可能[1,2,3,4]。这些高风险领域——包括用

于诊断罕见疾病的医疗保健、预测独特设备故障的工业制造以及处理罕见边缘情况的自主

系统——通常每个类别只有1到10个标注样本可用。这种范式被称为少样本学习（FSL），

1

旨在从如此有限的数据中构建可靠且通用的模型，但历史上一直面临过拟合和泛化能力差

的问题[5,6]。虽然传统的解决方案如元学习和数据增强提供了部分改进，但在处理复杂、

现实世界应用时，尤其是在应对多样化的数据类型时往往效果不佳[7,8,9,10]。

一个新的范式随着大型多模态模型（LMMMs）的出现而形成。基础研究表明，预先在

大规模网络数据集上训练的模型发展出了强大的新兴推理能力，使它们能够从非常少的例

子中泛化到新任务，这一概念由像GPT-4[11,12,13]这样的语言模型强有力地说明了。我

们的愿景是利用这种力量创建一个基础模型，使其可以从最少的数据中学习，解锁解决因

数据稀缺而被认为无法解决的问题的方法。我们假设，在一组多样化的独立少样本任务上

训练的单一LMMM可以比传统方法实现更优越的泛化。

此外，训练数据的质量和多样性对于这一新范式[14,15]至关重要。我们基于这样的

原则操作：在一个广泛范围的高质量数据上训练单一统一模型——这些数据跨越多种模式

（视觉、文本、表格）、各种任务以及多样化的现实世界