人工神经网络概述.pptxVIP

第8章 人工神经网络（Artificial Neural Network，ANN）第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例一、人工神经网络的提出AI研究的两大学派：符号主义——用计算机从外特性上模仿人脑宏观的功能连接主义——在微观内部结构上模仿人脑的神经一、人工神经网络的提出符号主义认为： 智能活动的基本元素是符号； 智能活动的过程是符号处理的过程。连接主义认为： 智能活动的基本元素是神经元； 智能活动的过程是大量的相联结的神经元的并行作用的过程。二、人工神经网络的历史早期阶段（～1960’s）1943 McCulloch和Pitts 提出神经元的数学模型（MP模型）1949 Hebb 提出权重加强的学习机理1957 Rosenblatt 感知机（perceptron）有认知学习功能1969 Mingsky 专著“perceptron” 证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮二、人工神经网络的历史过渡期（1970’s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一ANN的数学理论Fuknshima 神经认知网络理论芬兰的Kohonen 自组织联想记忆二、人工神经网络的历史高潮（1980～）1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题1987.6ICNN（International Conference on NN）召开1987 加州理工 Abn－mostafa，Psaitis 2D联想存储输入残缺图案也可识别1988 ATT Bell lab 120*120元件的ANN1989 三菱 光学ANN芯片，32个神经元识别26个字母1989 日立 5“硅片集成576个神经元1990 Bell Lab 黄庭钰 数字光学处理器1990 IBM AS400 提供ANN仿真开发环境1992 SGI 将ANN用于航天飞机控制臂ANN已在专家系统、智能控制等领域广泛应用第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例一、生物神经网的构成树突（Dendrite）胞体(Soma) ?轴突（Axon）突触（Synapse）x1 w1x2 w2??Fy…xn wn二、MP模型ycxo二、MP模型线性函数 y=kx+c二、MP模型阈值函数 θ yx0二、MP模型S形函数（Sigmoid Function） x1 w1x2 w2???yF…xn wns二、MP模型考虑偏置与阈值，神经元模型z1x1wW’z2x2…………xnzm输入层隐藏层输出层三、ANN连接模型前馈型网络三、ANN连接模型前馈型网络输入/输出：二值（0,1）或连续值权值：可正可负权值矩阵：学习的过程——不断修改权值的过程z1x1wW’z2x2…………xnzm输入层隐藏层输出层三、ANN连接模型反馈型网络 ……三、ANN连接模型反馈型网络层间反馈——非线性动力系统层内反馈——横向抑制、竞争Hopfield网是单层节点全互连的反馈网第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例8.3 ANN的学习算法ANN的学习算法可分为有导师学习无导师学习 自学习、自组织一、Hebb学习规则两个细胞同时兴奋，则它们之间连接（权）应加强。属于无导师学习二、反向传播算法 (Back-Propagation, B-P算法) （有导师学习）用于前馈网络从训练范例集中取一训练时，输入网络正向传播求输出计算输出与应有输出之误差反向传播，逐层修正权值，使误差减小重复以上步骤，直至整个训练集误差最小。总结 ANN的学习算法第七章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例y1x1??y=XOR(x1,x2)?x2??y28.4 应用举例XOR 1　　　　　　θ=0.5 -1 1 -1 1 1x1=0，x2=0时，y1＝0，y2＝0，y＝0x1=1，x2=0时，y1＝1，y2＝0，y＝1x1=0，x2=1时，y1＝0，y2＝1，y＝1x1=1，x2=1时，y1＝0，y2＝0，y＝09、要学生做的事，教职员躬亲共做；要学生学的知识，教职员躬亲共学；要学生守的规则，教职员躬亲共守。10、阅读一切好书如同和过去最杰出的人谈话。11、一个好的教师，是一个懂得心理学和教育学的人