神经网络基本理论.pptxVIP

神经网络基本理论神经网络基本理论第1页神经网络介绍含糊控制从人经验出发，处理了智能控制中人类语言描述和推理问题，尤其是一些不确定性语言描述和推理问题，从而在机器模拟人脑感知、推理等智能行为方面迈出了重大一步。含糊控制在处理数值数据、自学习能力等方面还远没有到达人脑境界。人工神经网络从另一个角度出发，即从人恼生理学和心理学着手，经过人工模拟人脑工作机理来实现机器个别智能行为。神经网络基本理论第2页神经网络介绍人工神经网络（简称神经网络，NeuralNetwork）是模拟人脑思维方式数学模型。神经网络是在当代生物学研究人脑组织结果基础上提出，用来模拟人类大脑神经网络结构和行为。神经网络反应了人脑功效基础特征，如并行信息处理、学习、联想、模式分类、记忆等。20世纪80年代以来，人工神经网络（ANN，ArtificialNeuralNetwork）研究所取得突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来智能控制方法。它已成为智能控制一个新分支，为处理复杂非线性、不确定、未知系统控制问题开辟了新路径。神经网络基本理论第3页神经网络介绍神经网络发展历程经过4个阶段。1启蒙期（1890-1969年）1890年，W.James发表专著《心理学》，讨论了脑结构和功效。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作数学模型，即M-P模型（第一个神经网络模型）。1949年，心理学家Hebb实现了对脑细胞之间相互影响数学描述，从心理学角度提出了至今仍对神经网络理论有着主要影响Hebb学习法则。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆数学模型，即著名感知机模型（Perceptron）。1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。神经网络基本理论第4页神经网络介绍2低潮期（1969-1982）受当初神经网络理论研究水平限制及冯·诺依曼式计算机发展冲击等原因影响，神经网络研究陷入低谷。在美、日等国有少数学者继续着神经网络模型和学习算法研究，提出了许多有意义理论和方法。比如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂ART网络，该网络能够对任意复杂二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射SOM模型。神经网络基本理论第5页神经网络介绍3复兴期（1982-1986）1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型经过引入能量函数，实现了问题优化求解，1984年他用此模型成功地处理了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一书，提出了一个著名多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍神经网络。神经网络基本理论第6页神经网络介绍4新连接机制时期（1986-现在）神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。神经网络基本理论第7页神经网络介绍神经网络原理神经生理学和神经解剖学研究表明，人脑极其复杂，由一千多亿个神经元交织在一起网状结构组成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑活动，造成了神经网络研究。神经系统基础结构是神经元(神经细胞)，它是处理人体内各个别之间相互信息传递基础单元。神经网络基本理论第8页神经网络介绍每个神经元都由一个细胞体，一个连接其它神经元轴突和一些向外伸出其它较短分支—树突组成。轴突功效是将本神经元输出信号(兴奋)传递给别神经元，其末端许多神经末梢使得兴奋能够同时传送给多个神经元。树突功效是接收来自其它神经元兴奋。神经元细胞体将接收到全部信号进行简单地处理后，由轴突输出。神经元轴突与另外神经元神经末梢相连个别称为突触。神经网络基本理论第9页神经网络介绍生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动抵达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超出某个阈值，神经元将产生冲动。神经网络基本理论第10页神经网络介绍神经元由三个别组成：（1）细胞体（主体个别）：包含细胞质、细胞膜和细胞核；（2）树突：用于为细胞体传入信息；（