不精确概率的属性提取-计算机科学-属性提取-多分布学习.pdf

不精确概率的属性提取

工作论文∗

†

JamesBailieandRabanusDerr

哈佛大学，马萨诸塞州剑桥，美国

图宾根大学和图宾根人工智能中心，德国图宾根

July18,2025

本Abstract

译属性提取研究哪些概率分布的特性可以通过最小化风险来确定。我们调查了将属性提取推广到不

中精确概率（IP）的一般情况。这项调查是由多分布学习动机驱动的，它取代了在单一（精确）概率上最

小化单个风险的经典机器学习范式，并用IP上的-最大极小风险最小化来代替。我们提供了IP属

1

v性可提取性的必要条件。此外，我们通过贝叶斯对解释了一个可提取的IP属性实际提取了什么——

7被提取的IP属性是相应最大贝叶斯风险分布的标准属性。关键词：属性提取；Gamma-极大极小；

5多分布学习；分布鲁棒优化；-估计。

8

5

0

7.1动机：多分布学习能做什么学习?

0

5

2机器学习在其多种形式的核心，都是在最小化一个预期损失（即风险）。有趣的是，预期损

:失的最小化也是另一条文献主线的核心：属性提取。从Osband[Osb85]的开创性工作开始，这个

v

i领域对损失函数的最小化采取了独特的视角：它提出了两个紧密相关的问题。首先，对于一个特

x

r

a定的损失函数，其属性——即数据生成分布的函数——是什么——即通过最小化该损失的期望来

给出。其次，给定一个特定的属性，是否存在能够激发这个属性的损失函数？

一个经典的风险属性示例是均值。最小化预期平方误差可以得到数据生成分布的均值。此外，

通过适当参数化的分位数损失函数，所有分位数都是可提取的。另一方面，分布的条件价值风险

（有时称为预期短债）不是可提取的[Gne11;Zie16]。

为了更简洁地阐述上述问题：属性激发领域旨在回答通过最小化预期损失所激发的是是什么，

以及可以是是什么。具有统计背景的人会立即意识到这相当于询问给定的-估计器学习数据生

成分布的哪个属性（在渐近状态下），更广泛地说，哪些属性甚至可以通过-估计来学习。近年

来，这些问题已经被该领域很大程度上解决了，最终表征了可激发的属性（见[Lam19,Theorem

1]和[Ste+14]）。

然而，在过去几十年里，风险最小化框架已经发展成为一个相关的学习范式家族，其中许多

偏离了属性激励文献中考虑的经典设置。作为本文的动机，我们强调其中一个范式：多分布学习

（MDL）[HJZ22]。MDL不是最小化期望损失，而是用一组期望上的上确界替换期望算子，其理

∗此项工作将在德国比勒费尔德举行的第十四届不精确概率国际研讨会（ISIPTA2025）上以海报形式展示。

†Theauthorsarelistedinalphabeticalorderoftheirlastname.

1

由是，在训练期间，实际感兴趣的分布——在部署时将从中抽取数据的分布——是未知的。相反，

应该保证在整个上确界所取的分布类中具有良好的预测性能。换句话说，MDL可以描述为在不精

确概率（IP）[Aug+14]上的期望损失最小化，而不是在一个单一（精确）的概率上。

一个密切相关的框架是分布稳健优化(