人工神经网络中的样本对输出精度影响分析.docVIP

人工神经网络中的样本对输出精度影响分析 　　摘要: 影响人工神经网络模型输出结果精度的技术引起广泛重视,样本质量对神经网络输出精度影响的研究不多,研究多数是针对神经网络结构(层数及节点数),本文分析样本对人工神经网络输出的影响,对提高神经网络的输出结果精度有重要的意义。 　　Abstract: The technology of affecting the output accuracy of artificial neural network model has affected widespread ettention,and influence researches of sample quality to neural network output accuracy are very few,and the majority of these researcher about neural network structure. This paper analyses the influence of the sample to the output of artificial neural network,having important significance to improve accuracy of neural network output. 　　关键词: 人工神经网络;局部影响;BP神经网络;算法 　　Key words: artificial neural networks;local influence;BP neural network;algorithm 　　中图分类号:TP393.092 文献标识码:A文章编号:1006-4311(2010)07-0144-02 　　 　　0引言 　　神经网络应用到预测有许多问题需要解决, 其中最为突出的问题就是没有一个确定的最合适的神经网络结构的标准方法,由于影响神经网络预测能力的参数很多,本文针对最为常用的BP神经网络,对影响神经网络预测精度的样本质量进行了详细分析和研究, 并在此基础上,给出优化样本后的具体例子。 　　1样本质量对网络的影响 　　用于神经网络的样本分为训练样本和测试样本,训练样本的质量在一定程度上决定着预测精度。首先,训练样本和待预测样本的均值存在较大差异, 预测误差会随着长时间的训练而增大。其次,训练误差会随着训练样本和待预测样本均值间差异的增大而增大。再次,训练误差会随着训练样本和待预测样本方差间差异的增大而增大[1]。下面是文献[1]对样本质量分析的方法。 　　文献[1]的人工神经网络预测误差为e=em+et+er,其中,e为预测误差;em为模型误差,它由所建回归模型与实际系统的差异引起的;et为最终的训练误差;er为人工神经网络训练和预测过程中引入的随机误差。et和er的存在是不可避免的,而em为:em=ef+ed,式中ef为实际输出值与预测输出值之间的误差,它反映了样本质量;为由不正确的嵌入维数引起的误差, 它可通过选择合适的输入神经元数来消除。 　　为了评价训练样本质量,根据ef提出“一致度”的指标。文献[1]定义了伪距离DCTP-D,但计算伪距离是相当复杂的,难于实现对样本质量的分析和应用。下面用协方差比统计量分析训练样本对预测精度的影响。 　　设训练样本为θ,是神经网络的输出,i是从θ中剔除第i个数据点的神经网络输出。则剔除第i个数据点的协方差比统计量CR=cv()cv()表明了剔除第个数据点对神经网络输出精度的影响,从精度方面刻画了第i个数据点的重要程度。CRi-1的值越大,对预测精度(神经网络输出)的影响越大。在使用PB神经网络预测时先对训练样本进行筛选,剔除对网络输出结果影响小的样本点。 　　样本精简:矩阵初等行变换能保持矩阵列向量之间的线性关系,利用这个结论我们可以用来进行样本数据的精简,这样精简后的样本数据能够保持各属性字段之间的线性关系。神经网络的训练实际上是一个通过给定样本实时调整网络连接权重的过程,样本预处理的结果对于网络训练的收敛性起到关键的作用。 　　2实例分析 　　本文采用麻省理工大学林肯实验室的测试数据KDDCUP99,它是专门用来进行入侵检测评估的。我们采用数据集上的一个子集10%作为实验数据源,它一共包含有494021条网络连接,其中正常连接97277 条,异常连接396744条。 　　下面我们针对DOS攻击类型数据(DOS攻击类型编码为“0 0 0 1”)进行分析。 　　设A为样本数据矩阵,其中每一行向量表示一条样本数据,则该行向量含34个数据,假设有a条样本,则A为a行34列矩阵;由于每条样本数据输入网络后都会有一条对应的输出,加上本实例为DOS攻击类型以编