第六讲 Modeler分类预测：神经网络算法.ppt

分类预测：人工神经网络 什么是人工神经网络 神经网络起源于生物神经元的研究，其研究的主要对象是人脑 人脑是一个高度复杂的、非线性、并行处理系统，其中大约有1011个称为神经元的微处理单元。这些神经元之间互相连接，连接数目高达1015 人脑具有联想、推理、判断和决策的能力，对人脑的活动机理的研究一直是一种挑战 人脑智能的核心在于其连接机制，即由于大量简单处理单元（神经元）的巧妙连接，使得人脑成为一个高度复杂的大规模非线性自适应系统 什么是人工神经网络 人工神经网络（Artificial Neural Network, ANN）是一种人脑的抽象计算模型 通过计算机程序实现对人脑系统的模拟，形成类似于生物神经元的处理单元，并希望通过这些处理单元的有机连接，解决现实世界的模式识别、联想记忆、优化计算等复杂问题 人工神经网络主要应用于分类预测和聚类方面 人工神经网络算法概述 人工神经网络组成： 由相互连接的神经元，也称处理单元（Processing Element）组成。处理单元也称结点（Node） 处理单元之间的连接称为边，反映了各处理单元之间的关联性 关联性的强弱体现在边的权值上 人工神经网络算法概述 人工神经网络的种类：从拓扑结构角度划分： 网络层数：两层神经网络、三层神经网络和多层神经网络 结点的作用 结点的个数 人工神经网络算法概述 人工神经网络的种类：从连接方式角度划分 ： 层间连接 前馈式神经网络：连接是单向的，上层结点的输出是下层结点的输入。B-P、Kohonen 反馈式神经网络 ：除单向连接外，输出结点的输出又作为输入结点的输入。Hopfield 层内连接方式是指神经网络同层结点之间相互连接，如Kohonen网络 人工神经网络的种类：从学习方式角度划分： 感知机：采用有指导的学习方法 认知机：采用无指导的学习方法 人工神经网络中的结点和意义 接收上层结点的输出作为本结点的输入，对输入进行计算后给出本结点的输出 加法器： 激活函数： 人工神经网络中的结点和意义 各种激活函数： 人工神经网络中的结点和意义 3，4，5处理单元的偏差为0，激活函数为(0,1)型Sigmoid函数： 结点3：U为：1×0.2＋0.5×0.5=0.45，激活函数值为：y1=f(0.45)＝0.61 结点4：U为：1×(－0.6)＋0.5×(－1.0)=－1.1，激活函数值为：y2=f(－1.1)＝0.25 结点5：U为：0.61×1.0＋0.25×(－0.5)=0.735，激活函数值为：y3=f(0.735)＝0.68 人工神经网络中的结点和意义 在加法器和激活函数的共同作用下，结点起到了一个超平面的作用 第一，如何定位一个超平面 第二，如果n维空间中的样本点线性不可分将会怎样 人工神经网络建立的一般步骤 数据准备 数值型变量数据的标准化处理 [0，1] 分类型变量 网络结构的确定 隐层层数和各隐层中隐结点的个数决定复杂度 网络结构不一定在模型建立之前就完全确定 有4、5、6个类别的分类变量都只需要3个变量即可 人工神经网络建立的一般步骤 网络权值的确定 第一，初始化网络权值：默认为来自均值为0，取值范围在－0.5至0.5之间正态分布随机数 0附近、随机数、小区间 第二，计算各处理单元的加法器和激活函数值，得到样本的分类预测值 第三，比较样本的预测值与实际值并计算误差，根据误差值重新调整各网络权值 第四，返回到第二步 感知机 B-P反向传播网络是一种前馈式、多层、感知机网络 每个样本都会提供关于输入输出变量数量关系的信息，应依次向每个样本学习，并根据误差调整网络权值 第一，0时刻，初始化各个网络权值和输出结点的偏差 第二，输入训练样本，t时刻：X=(X1(t),X2(t),…Xn(t)) 第三，计算输出结点的预测值，t时刻 当输出变量为数值型采用Sigmoid函数，为分类时一般采用[0,1]阶跃函数 感知机的训练步骤 第四，计算输出结点期望值与预测值的误差，t时刻： 对于二分类输出变量，错判为0则为1，错判为1则为－1 第五，调整第i个输入结点和第j个输出结点之间的网络权值和偏差 第六，判断是否满足迭代终止条件。如果没有满足，则重新回到第二步 delta规则 感知机的训练步骤 冲量 学习率 设?为1，?为0.1，?为0，激活函数f=U B-P反向传播网络 特点： 激活函数采用Sigmoid函数、包含隐层、反向传播 隐层的作用：实现非线性样本的线性化转化 B-P反向传播网络 反向传播： 正向传播：样本信息从输入层开始，由上至下逐层被隐结点计算处理，上层结点的输出为下层结点的输入，最终被传播到输出层结点并