基于 SHAPLEY 的数据估值与互信息： 改进 K 近邻的关键-计算机科学-机器学习-模式识别-算法.pdfVIP

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

基于SHAPLEY的数据估值与互信息：

改进K近邻的关键

MohammadAliVahedifar,AzimAkhtarshenas,MohammadM.RafatPanah,andMaryamSabbaghian

DepartmentofElectricalandComputerEngineering,AarhusUniversity,Denmark

DepartmentofElectricalandComputerEngineering,UniversitatPolitècnicadeValència,Spain

DepartmentofElectricalandComputerEngineering,UniversityofTehran,Iran

本ABSTRACT练集中标记实例之间的相似性来进行预测。该算法根

据最近邻居中的多数投票为新数据点分配标签。它在

译K-近邻（KNN）算法广泛用于分类和回归，然而它存

没有关于潜在数据分布的先验知识的情况下运行，并

中在一些限制，包括对所有样本的平等处理。我们提出

且保持非参数化[3]。尽管有这些优点，传统的KNN

3了信息修正KNN（IM-KNN），这是一种利用互信息

v（）和Shapley值为邻居分配加权值的新方法，从而弥平等地对待所有数据点，而不考虑每个数据点的个别

1价值[4]。

9补了以相同价值和权重对待所有样本的不足。在12个

9为了应对这一挑战，我们通过将数据估值纳入多

1基准数据集上，IM-KNN平均将传统KNN的准确率、

0精度和召回率分别提高了16.80%、17.08%和16.98%。数投票过程开发了一种信息修正的KNN（IM-KNN）

.

2在四个大规模数据集上的实验进一步突显了IM-KNN方法。通过使用基于互信息（）的性能指标，我们系

1统地计算Shapley值来量化数据点[5]的贡献。此外，

3对噪声、不平衡数据和偏斜分布的鲁棒性。

2我们引入了一个距离感知加权机制用于多数投票，在

:IndexTerms—K-最近邻，互信息，Shapley值，

v该机制中，投票权重由测试样本与其邻居之间的接近

i

x机器学习，模式识别程度决定。通过强调更有信息量的数据点，这提高了

r

a分类准确性。图1的结果显示IM-KNN在不同数据集

1.介绍上的表现优于其他方法，并且具有可比较的训练时间。

IM-KNN方法的多阶段概念管道如图2所示。

模式识别是机器学习（ML）中的一个基本领域，

专注于自动识别和分类数据中的模式[