聚类分析中特征选择的研究-计算机应用研究.PDFVIP

第 5 期 周 宇等: 聚类分析中特征选择的研究 ·55 · 聚类分析中特征选择的研究 * 周 宇, 覃 征 ( 清华大学 软件学院, 北京 100084) 摘 要: 介绍了一种新颖的基于高斯混合模型的特征选择算法, 并且应用该方法的结果对模拟数据和真实数据 进行聚类。实验结果表明 , 该算法可以有效地确定显著属性, 提高聚类准确度。 关键词: 特征显著度 ; 特征选择 ; 聚类 ; 混合模型 中图法分类号: TP301 文献标识码 : A 文章编号 : 1001- 3695( 2006) 05- 0055- 03 Study of Feature Selection in Clustering Analysis ZHOU Yu, QIN Zheng ( School of Software, Tsinghua University, Beijing 100084, China) Abstract: Introduce a novel feature selection algorithm based on Gaussian mixture model and do clustering on synthetic and real data making use of the results of the algorithm. The effectiveness of determining salient features and improvement of accu- racy of clustering has been proved by experimental results. Key words: Feature Saliency; Feature Selection; Clustering; Mixture Model 聚类就是将数据对象分组成为多个类或簇( Cluster) , 在同 模型为例, 也可以扩展到其他基于模型的方法中。 一个簇中的对象之间具有较高的相似度, 而不同簇中的对象差 [ 1] 1 特征选择的常用方法 别较大。聚类分析 被广泛应用于许多研究领域, 包括图像 分割、对象及特征识别、信息检索以及数据挖掘等。聚类算法 已有的大多数特征选择方法属于有监督学习。特征选择 的输入可以是一个包括所有点之间相似度和相异度的接近度 算法主要分成两类: Filters 和 Wrappers。Filters 方法仅仅使用 矩阵, 或者是模式矩阵。这里每个模式用一个属性的向量来表 数据集评价每个特征 ( 子集) 的相关性, 不考虑后来的学习算 示, 每个属性称为特征。特征选择是从原始的特征中识别对聚 [ 6] 法。RELIEF 就是这类算法的代表, 其基本思想就是基于结 类最有效的子集的过程[ 1, 2] 。 合每个数据点的 k-邻近的特征值来给特征赋权值。信息理论 原则上, 对每个模式知道的信息越多, 聚类的效果应该越 的方法也被用于评价特征: 相关特征和类标签的相互信息值应 好。然而, 在实践中并非如此。有些特征可能是噪音数据, 就