超曲面神经元网络在多维特征空间模式分类中的应用研究.pdfVIP

超曲面神经元网络在多维特征空间模式分类中的应用 王辛刚①张冬梅⑦于世明①王守觉⑦ ①(浙江工业大学智能信息系统研究所3 10014) ②(浙江工业大学理学院 310014) ③(中国科学院半导体研究所 100083) 摘要系统地讨论了超曲面神经网络在多维特征空间中实现模式分类的行为。与传统的超平 面神经网络(BP网络)，超球面神经网络(RBF网络)相比，可以实现更为复杂的 几何形状。应用于模式分类，不仅在训练速度上有了很大的提高，而且在分类性能 上有了明显的改善。同时为人工神经网络的分析与发展提供了一种新的手段． 关键词 超曲面神经网络模式分类 多维特征空间 1引言 神经网络作为一种适合于并行运算的计算方法，由于它的突出的自学习能力和极高的鲁 棒性和容错能力，已被广泛地实际应用。神经网络应用于模式识别，从最初的单层感知器发 展到多层感知器。其中，误差反传的多层感知器(BP网络)．是应用最为广泛，也是最有效的 模式分类器之一。在此基础上，人们进一步提出径向基神经网络(RBF网络)，方向基神经网 络(DBF网络)应用于模式分类。应用于模式分类的神经网络是一种非参数的模式识别方法， 它的分类实质是根据不同的网络结构实现不同的分类边界。而就单个神经元来说，可以完成 超平面，超球面、超圆锥面，甚至超曲面的分类边界。本文目的是研究超曲面神经网络在多 维特征空间实现模式分类的行为，从而为人工神经网络的分析与发展提供了一种新的手段。IIj 2前馈神经网络的模式分类机理分析 神经元的通用模型可以表示为y；厂l兰①(w，，w；，…，．x，)一pl将其应用于多维特征空间 的模式分类，又可以表示为Y=f{x，离超曲面∥的距离，，其中超曲面∥的方程为 芝①(w，，w；．…．工，)一目：o。显然，构造不同的超曲面方程必将对分类结果产生重要的影响。 以下分别讨论。 (1)单层感知器 单层感知器是具有玎个输入f，x。，x：，…，x。，7=X，且x∈R”，一个输出Y∈{0,1)，，1个连 1的神经元。其输入输出关系为 接权值f，w，，w：，…，W。夕7=W及阈值0∈R 】，：f(Wr·x-e)：{X∈正形：·x一口≥o (1) 628 其中 _，’(’)为单位阶跃函数。A，B为线性可分的两类样本。且X∈A时，y：1；X∈B时， Y=0。由此可见，具有单个神经元的单层感知器的功能就是在多维输入空间中作一个超平面， 形成～个两类样本的分类界面，通过适当划分样本空间(调整超平面的位置)，使线性可分的 两类样本分别位于超平面所划分的两个区域中。一个神经网络即由一组这样的超平面组成。 (2)径向基函数(RBF)神经网络 很早人们就提出了用多维空间中的封闭超曲面取代(1)式中超平面的设想。单层感知器 中的超平面神经元实质上是输入空间中输入点离一个超平面的距离。而径向基函数神经元是 输入空间中输入点离一个核心的距离。径向基函数神经元的数学模型可表示为 J (2) 】，=Ⅳ∑f，Ⅵ一一夕2-02 可以看到，如果(2)式中RBF神经元的激励函数_，为单位阶跃函数，则该神经元相当 于在输入空间中以核心Ⅵ为球心，以汐为半径做一超球面。当输入点在此超球面内时，输出 为“0”，在超球面以外时输出为“1”。因而，可以认为RBF神经元网络是以封闭的超球面作 为样本的分类界面，使不同类别的样本分别位于不同的超球面内，实现模式分类。 采用超平面神经元网络对多维特征空间进行划分，讨论的是一个无穷的空间。而采用封 闭的超球面神经元网络，我们只考虑有限的空间。进行识别时，我们实际上只针对有限空间 的情况。于是充分利用这个有限性(将在有限范围外的种种复杂情况置之不理)，这就大大降 低学习的复杂性。 (3)方向