通过注意力进行聚类：利用预先拟合的变换器进行数据划分-计算机科学-机器学习-数据挖掘-模式识别.pdfVIP

通过注意力进行聚类：利用预先拟合的变换器进行数

据划分

AhmedShokryAymanKhalafallah

AppliedInnovationCenterAppliedInnovationCenter

Alexandria,EgyptAlexandria,Egypt

a.shokry@aic.gov.ega.khalafallah@aic.gov.eg

Abstract

本

译聚类是机器学习中的核心任务，在数据挖掘和模式识别领域有广泛的应用。

中然而，其无监督的特性使其本质上具有挑战性。许多现有的聚类算法存在关

键限制：它们通常需要仔细调整参数、表现出高计算复杂度、缺乏可解释性

1

v或产生次优精度，尤其是在应用于大规模数据集时。在本文中，我们介绍了

9一种基于元学习的新聚类方法。我们的方法消除了对参数优化的需求，并实

6

3现了超过最先进聚类技术的准确性。所提出的技巧利用少量预先聚类样本

0来指导整个数据集的单次正向传递中的聚类过程。具体来说，我们使用预训

2.练的Prior-DataFittedTransformerNetwork(PFN)来执行聚类。该算法计算

7预先聚类样本和未聚类样本之间的注意力，使其能够根据学习的关系推断

0

5出整个数据集的簇分配。我们从理论上和经验上证明了，在只有少量预先聚

2类的例子的情况下，模型可以泛化到准确地对数据集的其余部分进行聚类。

:

v在具有挑战性的基准数据集上的实验表明，我们的方法可以在没有任何预

i

x聚类样本的情况下成功地将明显分离的数据进行聚类，并且当提供一些聚

r类样本时显著提高性能。我们展示了我们的方法优于最先进的技术。这些结

a

果突出了我们方法的有效性和可扩展性，使其成为现有聚类技术的有前途

的替代方案。

1介绍

数据聚类是指基于预定义的相似性或距离度量，在高维数据集中发现内在分组或结构的任

务。聚类方法的有效性对多个因素高度敏感，包括输入数据的表示、特征空间的维度以及数

据集中的噪声水平Boja[2011]。这些因素通常会导致不同应用和领域中聚类性能出现显著

差异。

广义上，聚类算法主要分为两类：层次聚类和划分聚类Kantardzic[2011],KarabogaandOzturk

[2011]。层次聚类使用自下而上（聚合）或自上而下（分裂）的方法构建嵌套的聚类树。在

聚合层次聚类中，每个数据点最初被视为独立的聚类，并基于某种联结标准依次合并成对的

聚类。相比之下，分裂层次聚类从整个数据集作为一个单一聚类开始，递归地将其划分成更

小的聚类Jainetal.[1999],RokachandMaimon[2010]。

另一方面，划分聚类旨在将数据集划分为一组互斥的簇，使得每个数据点恰好属于一个簇。

在划分方法中，基于原型的聚类尤为突出。在这种方法中，每个簇由其组成的数据点的平均

值或中位数表示，并且算法寻求最小化一个目标函数，该函数量化了每个数据点与其分配