9人工神经网络.pptVIP

* 南京理工大学自动化学院sunjh 2006年夏天于南京 现 代 电 路 理 论 * 第九章 人工神经网络--ANN 9.1 引言 9.2 Hopfield人工神经网络的电路模型 9.3 神经网络A/D转换器 9.4 利用多层反馈神经网络求解线性方程 第9章 人工神经网络 ANN—artificial neural network 9.1 引言 人工神经网络(artificial neural network)是由大量简单的基本元件—神经元（neuron）相互连接而成的自适应非线性动态系统。 每个神经元的结构和功能比较简单，而大量神经元组合产生的系统行为却非常复杂。系统模型可用软件描述（数学方程、算法、程序），而最终目标是以硬件实现（用半导体器件、光学器件或分子器件）。 9.1 引言 生物神经网络和人工神经网络 9.1 引言 系统的功能取决于程序给出的知识和能力。 有很强的自适应与自组织能力。 信息存储和数据运算互不相关，只有通过人编程给出指令使之沟通。 信息储存在神经元之间连接强度的分布上，存储区和运算区和为一体。 并行处理，工作速度很高（人脑毫秒级，人工神经网络时钟频率可达107甚至更高。） 大规模并行与串行组合处理，因而在许多问题上可以作出快速判断、决策和处理。 两个网络都是由可计算单元高度互联构成，但人工神经元要比生物神经元简单得多。 人工神经网络 生物神经网络 人工神经网络与数字计算机比较 9.1 引言 以发明者命名，称为冯·诺依曼计算机 称为神经网络计算机或第六代计算机 解决结构问题，如数字计算或方程求解 解决非结构问题，如语言或图形识别 串行处理的离散系统 并行分布处理PDP系统，往往是连续与离散（模拟与数字）混合系统 按给定的程序一步一步地执行计算，属指令程序式计算机或算法计算机 在构造和功能特点等方面更接近人脑，能够自身适应环境、总结规律、完成某种运算、识别和过程控制，属非程序化的自适应处理机或非算法计算机。 数字计算机 人工神经网络 PDP—parallel distributed processing 人工神经网络研究的发展简史 9.1 引言 人工神经网络早期研究应追溯到二十世纪40年代，下面一时间为顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展史。 1、McCulloch和Pitts 1943年，心理学家W.McCulloch和数理逻辑学家W. Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型，此模型一直沿用至今，并且直接影响着这一领域研究的进展，因而两人可称为人工神经网络研究的先驱。 人工神经网络研究的发展简史 9.1 引言 2、Von Neumann 1945年，成功研制存储式电子计算机；1948年，提出了以简单神经元构成的自再生自动机网络结构。 3、感知机 50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。但由于当时数字计算机的发展处于鼎盛时期，故而使得感知机的工作没有得到重视。到60年代末，人工神经网络的研究进入了低潮。 人工神经网络研究的发展简史 9.1 引言 4、Widrow 60年代初，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阀值网络。主要用于雷达天线控制、自适应均衡和回波抵消等方面。后来，在此基础上发展了非线性多层自适应网络。虽未以“神经网络”命名，但实际上就是人工神经网络模型。 人工神经网络研究的发展简史 9.1 引言 5、Hopfield 80年代初，Hopfield根据网络的非线性微分方程，引用能量函数（lyapunov 函数）的概念，使神经网络的平衡稳定状态有了明确的判据方法；利用模拟电路的基本元件构造了人工神经网络的硬件原理模型，为实现硬件奠定了基础；将上述成用于求解目前数字机不善于解决的典型问题，其中最著名的实例是“旅行商最优路径”（TSP）问题，取得了令人满意的效果。随后，掀起了人工神经网络的研究热潮。 人工神经网络研究的发展简史 9.1 引言 6、多层网络反向传播算法 1986年Rumelhart和McClelland提出多层网络的“逆推”（或称“反传”back propagation）学习算法，简称BP算法，该算法从后向前修正各层之间的连接权重，可以求解感知机所不能解决的问题。BP算法是目前最为引人注目的，应用最广的神经网络算法之一。 此外，还有不少学者为神经网