信息熵在实值检测器的属性域选取中的应用.docVIP

 信息熵在实值检测器的属性域选取中的应 用 乔宗杰，张凤斌** 5 10 15 20 （哈尔滨理工大学计算机科学与技术学院，哈尔滨 150080） 摘要：将信息论中的熵应用到实值检测器的属性域选取中，阐述了离散随机变量和连续随机 变量的熵理论，给出了检测器属性选取的数学模型和利用信息熵进行特征选取的方法，最后 通过仿真实验验证了熵在实值检测器属性域选取中的作用。 关键词：实值检测器；属性域选取；信息熵；信息测度 中图分类号：TP391 Application of Information Entropy in Feature Selection of Real-valued Detector Qiao Zongjie, Zhang Fengbin (Computer Science and Technology college,Harbin University of Science and Technology,Harbin 150080) Abstract: This paper applies the entropy concept of information theory to featrue selection of the real-valued detector ,and describes the entropy theory of the discrete random variables and the continuous random variables ,and gives the mathematical models of feature selection of the real-valued detector and the feature selection method using the entropy theory.An emulation is made to prove the validity of this method at the end. Key words: real-valued detector; feature selection; informaition entropy;information measurement 25 0 引言 入侵检测是密码，身份验证，防火墙等传统安全技术之后的新一代安全技术。目前的入 侵检测方法包括数据挖掘方法[1] 、神经网络方法[2] 、支持向量机方法[3] 、模糊数学理论方 法[4] 、概率统计分析方法[5]和人工免疫方法[6]。其中基于人工免疫方法的入侵检测系统是近 30 35 40 年来发展比较快速的入侵检测方法。基于人工免疫的入侵检测系统中最重要的部件是检测 器，检测器性能的高低决定了整个检测系统的检测能力。依据表示方法的不同，基于生物免 疫的入侵检测系统的检测器可分为二进制检测器和实值检测器。研究表明，随着网络速度和 网络规模的不断扩大，二进制检测器已经无法适应日趋复杂的网络环境。而实值检测器，由 于采用实值表示能够改善 NSA 算法[7]扩展性，增加检测器的多样性，而且可以从检测器中 提取更高级别的知识，已经成为基于人工免疫的入侵检测技术的主要发展方向。国内外学者 对实值否定算法的研究使得实值检测器更加成熟，但仍存在一些问题。其中，状态空间维数 的增高会导致实值检测器的检测性能迅速下降，即“维数灾难”问题。实值检测器不适合高 维空间的检测。所以，实值检测器属性域选取问题是入侵检测系统的一个关键问题。 属性域选取之前需要选择某个度量作为衡量属性特征的测度。信息论中的熵理论是一个 广泛应用的理论。信息熵可以用来描述随机变量信息含量的大小。如果将信息熵理论应用在 作者简介：乔宗杰（1985-），男，硕士研究生，主要研究方向：网络安全 通信联系人：张凤斌（1965-），男，博士生导师，主要研究方向：信息安全技术、网络安全及防范技术. E-mail: zhangfb@hrbust.edu.cn -1-  实值检测器的属性特征选择中，便能够找到含有最多信息的特征，并成为一种性能良好的全 局测度。针对实值检测器特点，本文将信息熵理论运用到检测器属性域选取中。 1 熵的概念及相关定义 从信源发出的消息在时间上和幅度上的分布来考虑，可以将信源分为离散信源和连续信 45 50 [8] 整的消息，则称这种信源为单符号离散信源。对于单符号离散信源，可以用一个离散随机变 量的可能取值，来表示信源可能发出的不同符号；用离散随机变量的概率分布表示信源发出 的不同符号可能性的大小。即若信源可能发出 q 种不同的符号{a1,a2,…,aq},相应的先验概率 分别为 P(a1), P(a2),…, P(aq),用随机变