[数学]神经网络最终版.pptVIP

1.人工神经网络概述 1. 人工神经网络概述 1.1 研究ANN目的 1.2 ANN的研究内容 1.3 研究ANN方法 1.4 神经网络的发展概况 1.5 神经网络的特点 利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 1.1 研究ANN目的： （1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。 （2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。 1.2 ANN的研究内容 （1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。 （2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。 （3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 1.3 研究ANN方法 （1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。 （2）宏观功能的模拟： 从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。 1.4 神经网络的发展概况 2 神经元与神经网络 2.1 生物神经元的结构 2.2 神经元数学模型 2.3 神经网络结构与工作方式 2.4 神经网络的学习方法 2.1 生物神经元的结构 人工神经元模型可以看成是由三种基本元素组成： （1）一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制； （2）一个加法器 用于求输入信号对神经元的相应突触加权之和； （3）一个激活函数 用限制神经元输出振幅，激活函数也称为压制函数。因为他将输入信号压制（限制）到允许范围之内的一定值。 神经元数学模型 神经元数学模型 激活函数的主要形式 一些典型的特性函数 阈值型 线性型 s型 2 神经元与神经网络 2.1 生物神经元的结构 2.2 神经元数学模型 2.3 神经网络结构与工作方式 2.4 神经网络的学习方法 2.3 神经网络的结构与工作方式 决定人工神经网络性能的三大要素： 2.3 神经网络的结构与工作方式 （1） 神经网络的结构 （a）前馈型神经网络，又称前向网络（Feed forward NN） 2.3 神经网络的结构与工作方式 （b）反馈型神经网络（Feedback NN） 2.3 神经网络的结构与工作方式 （2） 神经网络的工作方式 目前神经网络的学习方法有多种: 按有无导师来分类，可分为有教师学习（Supervised Learning）、无教师学习（Unsupervised Learning）和再励学习（Reinforcement Learning）等几大类。 在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。 在无教师的学习方式中，输入模式进人网络后，网络按照一预先设定的规则（如竞争规则)自动调整权值，使网络最终具有模式分类等功能。 再励学习是介于上述两者之间的一种学习方式。 神经网络中常用的几种最基本的学习方法 (1). Hebb学习规则 两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则 Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。 (3)．概率式学习 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。 神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。 概率式学习的典型代表是Boltzmann机学习规则。它是基于模拟退火的统计优化方法，因此又称模拟退火算法。 （4).竞争式学习 竞争式学习属于无教师学习方式。 此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。在这种联接机制中引入竟争机制的学习方式称为竟争式学习。 它的本质在于神经网络中高层次的神经元对低层次神经元的输