Real-TabPFN-通过使用现实世界数据的持续预训练改进表格基础模型-计算机科学-机器学习-表格基础模型.pdfVIP

Real-TabPFN：通过使用现实世界数据的持续预训练改进表格基础模型

112113

AnuragGargMuhammadAliNoahHollmannLennartPuruckerSamuelMüller

FrankHutter241

Abstract

基于表格数据的基础模型，如TabPFN，在1.00Wilcoxonp=0.0045

仅使用合成数据进行预训练时，对小型数

)TabPFNstronger

据集表现出强大的性能。我们表明，通过t

l0.95

u

有针对性的持续预训练阶段可以显著提升a

f

e

d

本这种性能。具体而言，我们展示了利用一(0.90

N

小部分精选的大规模现实世界数据集进行F

译P

持续预训练，相比使用更广泛但可能包含b

a

中T0.85Real-TabPFNstronger

更多噪声的数据集（如CommonCrawl或

1

vGitTables），能够获得更好的下游预测准确

1性。我们的模型Real-TabPFN在OpenML0.80

70.800.850.900.951.00

9AutoMLBenchmark的29个数据集上实Real-TabPFN(ours)

3

0现了显著的性能提升。

.

7Figure1.各个数据集上标准化ROC比较的TabPFN（默

0认）和Real-TabPFN（我们的方法）在OpenMLAutoML

51.介绍基准数据集中的29个数据集上的表现。Wilcoxonp值指的

2