2016智能优化计算（交大版）教案：第十章 智能优化计算简介 .docVIP

智能优化计算：nnt 智能优化计算简介第十章 智能优化计算简介本章对目前常用的几种智能优化计算算法作简单介绍，以使读者对它们有个基本认识。内容包括神经网络、遗传算法、模拟退火算法和神经网络混合优化学习策略。10.1 人工神经网络与神经网络优化算法? 人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本节首先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括前向神经网络,Hopfield网络。10.1 人工神经网络与神经网络优化算法10.1.1 人工神经网络发展简史? 最早的研究可以追溯到 20世纪 40年代 。 1943年,心理学家 McCulloch和数学家 Pitts合作提出了形式神经元的数学模型 。 这一模型一般被简称 M-P神经网络模型, 至今仍在应用, 可以说, 人工神经网络的研究时代, 就由此开始了 。? 1949年，心理学家 Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为 Hebb规则，许多人工神经网络的学习还遵循这一规则。10.1 人工神经网络与神经网络优化算法? 1 9 5 7 年, F.Rosenblatt 提出, 感知器, (Perceptron)模型, 第一次把神经网络的研究从纯理论的探讨付诸工程实践, 掀起了人工神经网络研究的第一次高潮 。? 20世纪 60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对, 感知器, 的研究。于是，从 20世纪 60年代末期起，人工神经网络的研究进入了低潮。10.1 人工神经网络与神经网络优化算法? 1982年, 美国加州工学院物理学家 Hopfield提出了离散的神经网络模型, 标志着神经网络的研究又进入了一个新高潮 。 1984年, Hopfield又提出连续神经网络模型, 开拓了计算机应用神经网络的新途径 。? 1986年,Rumelhart和 Meclelland提出多层网络的误差反传 (back propagation)学习算法，简称 BP算法。 BP算法是目前最为重要、应用最广的人工神经网络算法之一。10.1 人工神经网络与神经网络优化算法? 自 20世纪 80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。10.1 人工神经网络与神经网络优化算法10.1.2 人工神经元模型与人工神经网络模型? 人工神经元是一个多输入, 单输出的非线性元件, 如图 10-1所示 。? 其输入, 输出关系可描述为10.1 人工神经网络与神经网络优化算法? (10-1-1)? 式中,是从其它神经元传来的输入信号； 是阈值； 表示从神经元到神经元 的连接权值； 为传递函数。???????? ??)(1jjnijiijjXfyxX ??),,2,1( nix i ??j? ij? ij )(?f10.1 人工神经网络与神经网络优化算法yjθjx0=1∑ fω njx1x2,,,xnω 2jω 1j图 10-110.1 人工神经网络与神经网络优化算法? 人工神经网络是由大量的神经元互连而成的网络，按其拓扑结构来分，可以分成两大类：层次网络模型和互连网络模型。层次网络模型是神经元分成若干层顺序连接，在输入层上加上输入信息，通过中间各层，加权后传递到输出层后输出，其中有的在同一层中的各神经元相互之间有连接，有的从输出层到输入层有反馈；互连网络模型中，任意两个神经元之间都有相互连接的关系，在连接中，有的神经元之间是双向的，有的是单向的，按实际情况决定。10.1 人工神经网络与神经网络优化算法? 10.1.3 前向神经网络(1)多层前向网络一个 M层的多层前向网络可描述为,? ① 网络包含一个输入层 （ 定义为第 0层 ） 和M-1个隐层, 最后一个隐层称为输出层；? ②第层包含 个神经元和一个阈值单元（定义为每层的第 0单元），输出层不含阈值单元；lN10.1 人工神经网络与神经网络优化算法③ 第 层第 个单元到第个单元的权值表为；④第 层（ 0）第 个（ 0）神经元的输入定义为,输出定义为,其中 为隐单元激励函数，常采用 Sigmoid函数，即 。输入单元一般采用线性激励函数,阈值单元的输出始终为 1；1?l illij,1??l l j j? ????? 101,1lNi