人工智能及其应用 课件5 机器学习.ppt

神经网络学习规则根据连接权系数的改变方式不同又可分为如下三类:相关学习纠错学习无导师学习相关学习:仅仅根据连接间的激活水平改变权系数。它常用于自联想网络。最常见的学习算法是Hebb规则:如果单元ui接受来自另一单元uj的输出，那么，如果两个单元都高度兴奋，则从uj到ui的权值wij便得到加强。用数学形式可以表示为:Δwij=ηyiojη表示学习步长**纠错学习:有导师学习方法，依赖关于输出节点的外部反馈改变权系数。它常用于感知器网络、多层前向传播网络和Boltzmann机网络。其学习的方法是梯度下降法。最常见的学习算法有δ规则、模拟退火学习规则。δ规则学习信号就是网络的期望输出t与网络实际输出y的偏差δj=tj-yj。连接权阵的更新规则为：Δwji=ηδjyi**无导师学习表现为自适应实现输入空间的检测规则。它常用于ART、Kohonen自组织网络。例如Winner-Take-All学习规则假设输出层共有no个输出神经元,且当输入为x时,第m个神经元输出值最大,则称此神经元为胜者。并将与此胜者神经元相连的权系数Wm进行更新。其更新公式为：Δwmj=η(xj-wmj),j=1,2,...ni式中η0,为小常数二、前向神经网络模型前向神经网络是由一层或多层非线性处理单元组成。相邻层之间通过突触权系数连接起来。由于每一层的输出传播到下一层的输入，因此称此类网络结构为前向神经网络，有三种结构：单一神经元单层神经网络结构多层神经网络结构单一神经元:每一神经元的激励输出是由一组连续输入信号xii=1,2,...,ni决定的，而这些输入信号代表着从另外神经元传递过来的神经脉冲的瞬间激励。设y代表神经元的连续输出状态值。*?0为阈值，wj决定第j个输入的突触权系数。*二、前向神经网络模型单层神经网络结构:由ni个输入单元和no的输出单元组成。系统ni个输入变量用xjj=1,2,...,ni表示，no个输出变量用yi；i=1,2,...,no表示。*i=1,2,...,no*二、前向神经网络模型以单隐含层网络为例：*Oj为隐含层的激励i=1,2,...,noj=1,2,...,nh*二、前向神经网络模型假设每一层的神经元激励函数相同，则对于L+1层前向传播网络，其网络输出的数学表示关系方程式一律采用：

其中:Γl为各层神经元的激励函数，

为层到层的连接权矩阵，

为层的阀值矢量**二、前向神经网络模型有导师学习的基本思想前向传播网络实质上表示的是一种从输入空间到输出空间的映射。对于给定的输入矢量X，其网络的响应可以由方程Y=T（X）给出，其中T（·）一般取为与网络结构相关的非线性算子。神经网络可以通过对合适样本集，即输入输出矢量对（Xp,Tp)p=1,2,...,N来进行训练。网络的训练实质上是突触权阵的调整，以满足当输入为Xp时其输出应为Tp。对于某一特定的任务，训练样本集是由外部的导师决定的。这种训练的方法就称为有导师学习。*二、前向神经网络模型*有导师学习的思路：对于给定的一组初始权系数，网络对当前输入Xp的响应为：Yp=T(Xp)。权系数的调整是通过迭代计算逐步趋向最优值的过程，调整数值大小是根据对所有样本p=1,2,...,N的误差指标Ep=d(Tp,Yp)达到极小的方法来实现的。其中：Tp表示期望的输出，Yp表示当前网络的实际输出，d(·)表示距离函数。*二、前向神经网络模型*BP网络学习过程分成两部分：（1）工作信号正向传播：输入信号从输入层经隐层，传向输出层，在输出端产生输出信号，这是信号的正向传播。在信号向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。（2）误差信号反向传播：网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更接近期望输出。*二、前向神经网络模型*BP学习算法的推导：对于N个样本集，性能指标为φ（·）是一个正定