第三章感知器讲课.ppt

第三章 前馈神经网络 3.1单层感知器 3.2多层感知器 3 前馈神经网络 3.1.1感知器模型 3.1.1感知器模型 3.1.2感知器的功能 （1）输入是二维 wij x1+w2j x2 – Tj = 0 wij x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / wij = - ( w2j/ wij ) x2 +Tj / wij = a x2 +c 感知器的功能（二维） 3.1.2感知器的功能 3.1.2感知器的功能 （2）输入是三维 wij x1+w2j x2 +w3j x3– Tj = 0 x1 = a x2 +b x3 +c 3.1.2感知器的功能 3.1.2感知器的功能 3.1.4感知器的学习 关键问题就是求 3.1.4感知器的学习算法 Perceptron(感知器)学习规则 3.1.4感知器的学习算法 Perceptron Rule 感知器学习规则的训练步骤： （1）权值初始化 （2）输入样本对 （3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。 Perceptron Classification 3.1.3单层感知器的局限性 问题：能否用感知器解决如下问题？ 3.1.3单层感知器的局限性 无法解决“异或”问题 只能解决线性可分问题 3.2多层感知器 3.2.1多层感知器的提出 提出的动因 单计算层感知器的局限性： 只能解决线性可分问题，而大量的分类问题是线性不可分的。 解决的有效办法 在输入层与输出层之间引入隐层作为输入模式的“内部表示”，将单计算层感知器变成多（计算）层感知器。 采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。 “异或”的真值表 x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0 双层感知器 “异或”问题分类 例四 用两计算层感知器解决“异或”问题。 “异或”的真值表 x1 x2 y1 y2 o 0 0 1 1 0 0 1 1 0 1 1 0 0 1 1 1 1 1 1 0 前馈神经网络—多层感知器 前馈神经网络—多层感知器 3.2多层感知器 具有不同隐层数的感知器的分类能力对比 ⊿Wj(t)=?[dj-oj (t)]X 前馈神经网络—多层感知器 3.2多层感知器 1958年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。 单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。 单层感知器是指只有一层处理单元的感知器，如果包括输入层在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。3个列向量分别表示为： 对于处理层中任一节点，由第二章介绍的神经元数学模型知，其净输入netj为来自输入层各节点的输入加权和 (3.1) 输出oj为节点净输入与阈值之差的函数，离散型单计算层感知器的转移函数一般采用符号函数。 (1)设输入向量X=(x1,x2)T，则两个输入分量在几何上构成一个二维平面，输入样本可以用该平面上的一个点表示。节点j的输出为： 则由方程 wijx1+w2jx2-Tj=0 确定的直线成为二维输入样本空间上的一条分界线。 线上方的样本用*表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为-1，见图3.3。显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，从而也确定了如何将输入样本分为两类。假如分界线