第八章神经网络要点分析.pptVIP

感知器 罗森勃拉特(Rosenblatt)于1957年提出,把神经网络的研究从纯理论探讨引向了工程实践。 感知器是只有单层计算单元的前向神经网络,由线性阈值单元组成。 1）线性阈值单元 1 y = 0或-1 第八章 神经网络 安徽理工大学 2) 单层感知器 只有输入层和输出层组成，输入层的每个处理单元均与输出层互连，层内各神经元无连接，网络无反馈。 第八章 神经网络 安徽理工大学 感知器的学习算法 感知器的学习是有导师学习 感知器的训练算法的基本原理来源于著名的Hebb学习律 基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵 第八章 神经网络 安徽理工大学 离散单输出感知器训练算法 二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量。 权向量：W=(w1，w2，…，wn) 输入向量：X=(x1，x2，…，xn) 训练样本集： {(X，Y)|Y为输入向量X对应的输出} 第八章 神经网络 安徽理工大学 离散单输出感知器训练算法 1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X 第八章 神经网络 安徽理工大学 离散多输出感知器训练算法 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=(x1,x2,…,xn) 理想输出向量：Y=(y1,y2,…,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,…,om) o1 多输出感知器 x1 x2 o2 om xn … ?… … … 输入层 输出层 第八章 神经网络 安徽理工大学 离散多输出感知器训练算法 1.初始化权矩阵W； 2.重复下列过程，直到训练完成： 2.1 对每个样本（X，Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算O=F（XW）； 2.1.3 for j=1 to m do 执行如下操作： if oj ≠ yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi 第八章 神经网络 安徽理工大学 例：一个说明性实例 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 离散多输出感知器训练 第八章 神经网络 安徽理工大学 第八章 神经网络 安徽理工大学 * 人工神经元 M-P模型 最早由心理学家麦克罗奇（W.McLolloch）和数理逻辑学家皮兹（W.Pitts）于1943年提出。 θ Y 输出 e e i i 兴奋型输入 抑制型输入 阈值 第八章 神经网络 安徽理工大学 M-P模型输入输出关系表 输入条件 输出 M-P模型对抑制型输入赋予了“否决权”，只有当 ， 且 时，才有y＝1，其它时候 y＝0。 第八章 神经网络 安徽理工大学 图 单神经元结构模型 图中 为神经元的内部状态， 为阈值， 为输入信号， ， 为表示从单元 到单元 的连接权系数， 为外部输入信号。 第八章 神经网络 安徽理工大学 上图中所示的模型可描述为： ，即 通常情况下，取 常用的神经元激活函数有以下三种：阈值型、分段线性型和函数型 。 第八章 神经网络 安徽理工大学 激活函数(Activation Function) 激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 1、线性函数（Liner Function） f（net）=k*net+c net o o c 第八章 神经网络 安徽理工大学 2、阈值函数（Threshold Function）阶跃函数 β if netθ f（net）= -γ if net≤ θ β、γ、θ均为非负实数，θ为阈值 二值形式： 1 if netθ f（net）=