堆叠式合形预测-计算机科学-监督学习-预测模型-算法.pdf

ProceedingsofMachineLearningResearch266:1–14,2025ConformalandProbabilisticPredictionwithApplications

堆叠式合形预测

PauloC.MarquesF.PauloCMF1@.br

InsperInstituteofEducationandResearch,RuaQuatá300,SãoPaulo04546-042,Brazil

Editor:KhuongAnNguyen,ZhiyuanLuo,TuweLöfström,LarsCarlssonandHenrikBoström

Abstract

我们考虑一种对预测模型堆叠集成进行共形化的方法，表明堆栈顶部元学习器的潜在简单形式使能

够实现一个计算成本可控的过程，在无需使用单独校准样本的情况下达到近似边际有效性。实证结果

表明该方法与标准归纳替代方案相比具有优势。

本Keywords:监督学习，预测集，符合预测，堆叠，可交换性。

译

中1.介绍

3

v在其最一般的归纳传输形式中，符合性预测(Vovketal.,1999,2005)在期望的统计特性和

8计算复杂度之间产生了紧张关系：虽然它始终保证，对于可交换数据，该方法生成的非参数、模

7

5型不可知论预测集具有有限样本边缘覆盖范围，但在某些情况下，可能需要高度密集的计算过

2

1程，这是由于反复重新训练基础预测模型的必要性。归纳（拆分）符合性预测(Papadopoulos

.

5etal.,2002;Leietal.,2018)是一种吸引人且广泛采用的变化形式，通过权衡来平衡计算成本：

0

5尽管保留了完整符合性预测程序的统计特性并只需要指定预测模型的一次训练过程，但它迫使

2可用数据被划分为训练和校准样本，这可能导致既无法建立最准确的预测模型，也无法获得对

:

v模型泛化能力最有效的置信度评估。为了在控制计算成本的同时更对称地利用可用数据，已经

i

x开发了多种替代方案，从交叉符合性预测(Vovk,2015)开始，它启发了jackknife+(Barberetal.,

r

a2021)和嵌套符合性预测框架(Guptaetal.,2022)的发展。

在这项工作中，我们开发了一种用于将预测模型的堆叠集成进行符合化的方法(Wolpert,

1992;Breiman,1996)。这种构造具有双重目的。首先，它利用了模型堆叠通常带来的预测增益。

其次，它利用了堆栈顶部的元学习器可以是更简单的模型这一事实，从而实现了一个低成本的

符合化过程，消除了对单独校准集的需求，同时生成具有近似边际有效性的预测区间。

我们按照以下方式进行。在第2节中，在具有可交换数据的回归设置下，我们构建一个预

测模型堆栈，通过将未来的可观测对纳入用于拟合基础学习器的第一个堆栈级别的训练样本中，

使其完全对称。对于这个对称的堆栈，我们证明了假设的训练样本的可交换性转移到堆栈的第

二层。因此，对于放置在堆栈顶部的任意元学习器，未来可观测对相关的随机共形预测集具有

精确的边缘有效性。第3节通过将未来的可观测对移出训练样本来使堆栈构建成为可能。这打

破了堆栈的分布对称性，但在基础堆栈模型的一个稳定性假设下，之前提到的边缘有效性属性

仍然近似成立。在第4节中，我们将元学习器专门化为多元线性回归，以利用这样一个事实：对

于这个简单的模型，可以通过经典的秩一矩阵更新以较低计算成本完成完整的共形化过程。我

©2025P.C.Marques.