神经网络精选课件第一章神经网络概述.pptVIP

神经网络导论 　　 连捷 大连理工大学电信学院 E-mail: jielian@dlut.edu.cn 第一章 神经网络概述 第二章 神经网络基础 第三章 前馈神经网络 第四章 反馈神经网络 第五章 支持向量机 第六章 自组织竞争神经网络 第七章 神经网络辨识与控制 第一章 神经网络概述 §1.1智能的概念 §1.2 神经网络的基本概念 §1.3 人工神经网络研究的历史 §1.4 神经网络研究的意义 §1.5 人工神经网络的应用领域 §1.6 人工神经网络与自动控制 §1.7 小结 参考书目 §1.1智能的概念 智能是个体有目的的行为，合理的思维，以及有效的适应环境的综合能力。也可以说，智能是个体认识客观事物和运用知识解决问题的能力。 人工智能 人工智能（Artificial Intelligence，简记为AI）最初在1956年被引入。它研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。 研究人工智能的目的 模拟人的智能，将人类从复杂的脑力劳动中解脱出来 人工神经网络从以下四个方面去模拟人的智能行为 §1.2 神经网络的基本概念 什么是神经网络？ 由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。 一种由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及其各单元的处理方式 是一种旨在模仿人脑结构及其功能的信息处理系统 §1.2 神经网络的基本概念 神经网络的优点 神经网络的计算能力有以下优点： 大规模并行分布式结构 神经网络学习能力以及由此而来的泛化能力。泛化是指神经网络对不在训练（学习）集中的数据可以产生合理的输出 §1.2 神经网络的基本概念 神经网络的性质和能力 非线性 人工神经网络可以是线性的也可以是非线性的，一个由非线性神经元组成的神经网络自身是非线性的 输入输出映射 每个样本由一个惟一的输入信号和相应期望响应组成。从一个训练集中随机选取一个样本给网络，网络就调整它的突触权值（自由参数），以最小化期望响应和由输入信号以适当的统计准则产生的实际响应之间的偏差 §1.2 神经网络的基本概念 神经网络的性质和能力 适应性 神经网络具有调整自身突触权值以适应外界变化的能力 VLSI(超大规模集成)实现 神经网络的大规模并行性使它具有快速处理某些任务的潜在能力，适用于VLSI技术实现 神经生物类比 神经网络是由对人脑的类比引发的，可以用神经生物学来作为解决复杂问题的新思路 神经网络的一般框架结构 神经网络的分类 从结构分类 前馈神经网络(Feedforward Neural Network) 反馈神经网络(Feedback Neural Network) 从学习方式分类 有教师学习 无教师学习 有教师学习 事先有一批正确的输入输出数据对，将输入数据加载到网络输入端后，把网络的实际响应输出与正确（期望的）输出相比较得到误差。 根据误差的情况修正各连接权，使网络朝着正确响应的方向不断变化下去。 直到实际响应的输出与期望的输出之差在允许范围之内，这种学习方法通称为误差修正算法。典型的有误差反向传播(Back Propagation, 简写为BP)算法。 无教师学习 自组织学习 使网络具有某种“记忆”能力，以至形成“条件反射”。当曾经学习过的或相似的刺激加入后，输出端便按权矩阵产生相应的输出。如自组织映射(Self Organization Mapping, 简写为SOM)算法。 无监督竞争学习 将处理单元划分为几个竞争块。在不同的块之间有刺激连接，而同一块的不同节点之间有抑制连接，从而当外界对不同块的一个单元施加刺激后，将激活不同块中互联最强的一组单元，得到对该刺激的一个整体回忆。 §1.3 人工神经网络的研究历史 从19世纪末开始，神经网络的发展史可以分为 四个时期： 启蒙时期（1890～1969） 低潮时期（1969～1982） 复兴时期（1982～1986） 高潮时期（1987～ ） 从神经网络的发展历史可以看出它与神经生理学、数学、电子学、计算机科学以及人工智能学之间的联系。 启蒙时期 1890年，美国心理学家William James发表了第一部详细论述人脑结构及功能的专著《心理学原理》(Principles of Psychology)，对相关学习、联想记忆的基本