基于集对分析的半监督ISODATA聚类.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 2009。45(36) 99 基于集对分析的半监督ISODATA聚类 魏小涛 WEIXiao—tao 北京交通大学 软件学院，北京 100044 SoftwareSchool，BeijingJiaotongUniversity，Beijing100044，China E-mail：weixt@bjtu．edu．an WEIXiao—tao．Semi—supervised ISODATA clustering based on setpairanalysis．Computer Engineering na d Applications， 2009．45(36)：99—100． Abstract：A semi—supervised ISODATA clusteringalgorithm based on the SetPairAnalysis (SPA) isproposed fornewtork anomaly detection．Thispaperimprovesthe originalISODATA algorithm mainly in threeaspects．Firstly，the modified algorithm can directlyprocessthemixed attributesofsymbolic and numeric values，and employ the SPA to calculatethedistance between data records．Secondly，the algorithm can processboth labeled and unlabeled samples．Th e smallportion oflabeled samples isused to supervisehte clusteringprocessin the splitting stage．Th irdly，the initialparameters needed to be inputinto the algorithm are re— duced to only two．Experimental resulton the KDD 99 intrusion detection datasetsshowsthatthe algorithm has high detection rate(95．62％)whilemaintainingalowfalsepositiverate(1．29％)． Key words： set pair analysis；network anomaly detection；semi—supervised clustering；Iterative Self-Organizing Data Analysis Technique(ISODATA) 摘 要：提出一个基于集对分析的半监督 ISODATA聚类算法，用于网络异常检测。在三方面进行了改进 ：首先，算法能够直接处理 字符数字混合属性的数据，并使用集对分析来计算数据记录之间的距离；其次，算法同时处理有标号和无标号的数据，并利用少量 的有标号数据来指导算法的分裂过程；最后，将算法的输入参数减少到只有两个。在KDD99入侵检测数据集上的实验结果显示， 该算法获得了95．62％的检测率和 1．29％的误报率。 关键词：集对分析；网络异常检测；半监督聚类；迭代 自组织数据分析方法(ISODATA) DOI：10．3778／j．issn．1002—8331．2009．36．029 文章编号：1002—8331(2009)36—0099—02 文献标识码：A 中图分类号：TP18 1 引言 动态合并与拆分来 自动决定聚类的数量；为了能够处理混合属 传统的聚类算法一般是指在没有任何数据的先验信息下 性，文献6【—9】提出了不同的距离函数来衡量符号属性值之间的 对数据进行聚类分析，因而又称为无监督学习方法。但是在实 差异。然而将这些算法单独应用于网络连接数据则不能取得满 际应用中，这种聚类方法往往得不到有效的聚类结果。实际上， 意的效果，显然，应该将这些算法的优点相结合，并充分运用少 在进行聚类时，总能获得一些知识，如领域的背景知识或者小 量的指导知识，才能获得相对较好的结果。 部分有标号