交叉熵神经网络——一种可输出概率值的预报方法.pdfVIP

2009肆q■建省气，L掌套学水J’钾■一—暂科协第，l焉掌．术年套卫I曹嗽论文|‘ 交叉熵神经网络一一种可输出概率值的预报方法 吴木贵 (福建省建阳气象雷达站， 建阳354200) 提要：基于误差平方和最小化准则的BP神经网络并不适合解决小概率天气事件的分类预报问 题，引进一种可用于二分类预报问题的神经网络方法，这是一个基于交叉熵最小化准则的三层反向 传播神经网络，其输出层只用一个节点，其网络输出是目标事件的后验概率，它更适合预报小概率 的灾害性天气事件，最后利用ECMWF预报场资料，把该法用于福建省南平市大雨96小时预报试 验中。并把结果和回归方法进行比较，展示该方法的有效性。 关键词： 交叉熵误差函数 BP神经网络 概率预报 1 引言 BP神经网络作为一种非线性建模方法，也可用于暴雨、冰雹等小概率事件的预报中， 此时网络输出是目标类别事件的后验概率u1，这比单纯的有无预报显然更有意义。然而传统的以误 导出的，在分类问题中输出是二值的，不符合正态分布，故该法并不是最合理的，文献[2]提出分类 问题中更合理的目标函数可用交叉熵，文献[3]指出二分类问题中这种网络的输出是输入的概率函 数。我们把这种神经网络应用到二分类问题的天气预报中。该方法以交叉熵最小化为准则，网络取 三层，其中输出层节点只取一个，单元激活函数用Sigmoid函数，训练办法是逐样本修订权值的BP cross 算法。我们以这种改进的神经网络方法—-AN№E(artificialneuralnetwork entropy) using 为典型，给出其误差函数形式及训练的关键公式。最后利用ECMWF预报场资料，把该法用于福建省 南平市大雨96小时预报试验中，并把结果和回归方法进行比较，展示该方法的有效性。 2试验时的技术方法 和传统BP神经网络一样，ANN-CE用于预报建模时，其核心在于提高其泛化能力。金龙等曾提 出用主成份分析技术(PcA)…可压缩输入规模，排除因子之间相关性，可显著提高泛化性能；文献 [3]指出用交叉验证办法确定训练结束时机是防止过度拟合训练数据的一个最成功方法；在输入输出 单元数确定情况下，隐单元数决定网络规模，而小的网络规模往往泛化能力更好，因此相同精度情 况下，隐单元数应尽量少，这相当于使样本点的偏差在允许范围条件下用最平滑的函数(或参数最 少的模型)去逼近未知的非线性映射。 预报方法确定情况下，模型好坏关键在于因子，因子挑选大体有两个途径：一个是从天气形势 入手，该法可能导致对某些类型预报好，而对另一些却失败，导致模型不稳定，在模型预报季节长 时更为明显；另一途径是从降水形成基本条件(热力、动力、水汽等)及大降水形成必要条件(如 水汽供应)入手。我们从后一种入手构造初选因子，然后用逐步回归方法挑选出复相关系数足够高 的作为预报因予。这样建立的非线性模型中已含有良好的线性关系，这样的模型可能会有较长的生 命力。 当把ANN-MSE或回归方法用于预报小概率事件时，建模前消空处理是常用有明确效果的措旌， 但AN卜cE方法并不含正态分布假定，故我们未采用消空处理。 3 ANN-CE的误差函数 神经网络参数(各连接权)是通过向训练样本(输入输出对)学习确定的，训练过程中通过不断 调整权试图使实际输出和网络输出误差(称误差函数)达最小化，训练结束后网络权也就确定了， 此时就在输入和输出之间隐含建立了非线性映射关系。对于只有一个输出节点的ANN-MSE，其误差 函数为： 2009—o暇是省气，L掌量g嵊年套一一省科协鼻叫k曩学-水年t?卫量鼍—文论文j● E=一∑(y。一t。)2 2 rl 其中Y。为第n个样本的网络输出，t。为相应的目标值(实际值)，该误差函数是在实际输出满足正态 分布假定下导出的，因此ANN_MsE建模方法和回归方法有同样的局限性。事实上，在分类预报问题 中，更合理的误差函数可用交叉熵，对两分类问题为 E=一∑t。In