基于遗传算法高维离群点检测算法改进.docVIP

基于遗传算法的高维离群点检测算法的改进 摘要： 离群点检测问题在欺诈检测，网络鲁棒性分析，和入侵检测等领域上有着重要的应用，并且大多数应用在高维数据领域中，Aggarwal 和Yu提出的基于子空间投影和遗传算法（GA）的离群点检测方法是处理高维数据的一个有效方法。由于该算法的交叉重组过程采用贪心策略选择子串，并且随着变异概率的改变可能导致发现不了一些有意义的离群数据。本文提出一种改进的算法，通过对原算法的交叉过程和变异过程进行适当的改进，提高了检测的精度并不受变异概率改变的影响。 关键词：离群点检测；高维数据；遗传算法；交叉；变异 An improved high-dimensional Outlier detection algorithm Based on genetic algorithm Jia ruiyu,Huang yitang,Shidondong （Educational Department Key Laboratory of Intelligent Computing Signal Processing, Anui University, Hefei, china 230039 School of Computer Science and Technology of Anhui University, Hefei 230039 ） Abstract.:The outlier detection problem has important applications in the field of fraud detecti，on, network robustness analysis, and intrusion detection. Most such applications are most important for high-dimensional domains in which the data can contain hundreds of dimensions. Aggarwal and Yus recent projection of space-based and genetic algorithm (GA) of the Outlier Detection of high-dimensional data processing is an effective method, because the algorithm is cross-restructuring process by greedy string of strategic options, and mutation in the course of this mutation probability that the change may not lead to some Outlier. This paper presents an improved method, through the crossover and the variability of due process of improvement, Improve the accuracy of the test and is not subject to mutation probability of impact Key words: outlier detection；high-dimensional data；genetic algorithm；crossover；mutation 引言 离群数据挖掘通常可以看作三个子问题：①什么样的数据是异常，即离群点的定义；②有效挖掘离群数据的方法；③ 离群点的意义，即离群挖掘结果的合理解释。到目前为止，离群点还没有一个被普遍采纳的定义，Hawkins 对离群定义在一定意义上揭示了离群点的本质：“离群点与其他点如此不同，以至于让人怀疑它们是由另外一个不同的机制产生的。”现有的离群点的定义大多是在Hawkins定义的基础上给出的一个定量化描述。近年来，研究人员提出了大量的离群检测算法，大致可以把它们归纳为以下几类：基于统计的方法、基于密度的方法、基于深度的方法、基于距离的方法和基于偏离的方法。 在一些实际的应用中常常要面临这高维的问题，高维空间离群检测与其他数据集的离群检测差别甚大的原因主要有两个：①高维空间数据的稀疏性经常导致所有记录在传统距离的 意义上都有可能是离群点。因此，高维空间中很难找到一个通用的离群产生机制；②高维空间中的离群检测算法的计算复杂度通常都比较高，算法的执行效率极低。高维空间中的异常检测通常采用Aggarwal＆Yu提出的高维数据异常检测方法。基本思想是把高维空间投影到子空间，采