AI第5章-计算智能培训讲解.pptVIP

人工神经元是仿照生物神经元提出的，神经元可以有N个输入： 每个输入端与神经元之间有一定的连接权值： 神经元总的输入为对每个输入的加权求和，同时减去阈值θ。u代表神经 元的活跃值，即神经元状态： 神经元的输出y是对u的映射： 二值函数 f 称为输出函数(激励函数，激活函数)，有几种形式： S型函数 双曲正切函数 输出函数“f”的作用： ◇ 控制输入对输出的激活作用。 ◇ 对输入、输出进行函数转换。 ◇ 将可能无限域的输入变换成有限范围内的输出。 2、人工神经网络的基本特性和结构 结构由基本处理单元及其互连方法决定。 人工神经网络由神经元模型构成。 这种由许多神经元组成的信息处理网络具有并行分布结构，每个神经元具有单一输出，并且能够与其它神经元连接。 存在许多(多重)输出连接方法，每种连接方法对应一个连接权系数。 严格地说，人工神经网络是一种具有下列特性的有向图： (1) 对于每个节点i存在一个状态变量xi ； (2) 从节点i至节点j，存在一个连接权系数wij ； (3) 对于每个节点i，存在一个阈值?i； (4) 对于每个节点i，定义一个变换函数 fi( xi ,wij,?i)； 对于最一般的情况，此函数的形式为： 神经元模型确定之后，一个神经网络的特性及能力即主 要取决于网络的拓扑结构及学习方法。 人工神经网络（ANN）可以看成是以人工神经元为节点,用有向加权弧连接起来的有向图。 人工神经元就是对生物神经元的模拟。 有向弧则是轴突—突触—树突对的模拟。 有向弧的权值表示相互连接的两个人工神经元之间相互 作用的强弱。 人工神经网络的结构基本上分为两类：递归(反馈)网络、 和前馈网络。 ⑴、递归网络 　　在递归网络中，多个神经元互连以组织成一个互连神经网络，如图所示。 有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。（Hopfield网络） 递归网络又叫做反馈网络。 Vi ：表示节点的状态 xi ：节点的输入(初始)值 xi’ ：收敛后的输出值 （i=1,2,…,n） ⑵、前馈网络 前馈网络具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；(感知器) 神经元从一层连接至下一层，不存在同层神经元间的连接。 实线---指明实际信号流通, 虚线---表示反向传播。 (连接权值) 3、人工神经网络的主要学习方法 人工神经网络最具有吸引力的特点是它的学习能力。 1962年，Rosenblatt给出了人工神经网络著名的学习 定理：人工神经网络可以学会它能表达的任何东西。 神经网络的适应性是通过学习实现的，学习是神经网 络研究的一个重要内容，人工神经网络的学习过程表现为 对连接权值的训练。 人工神经网络的学习方法,涉及到学习方式和学习规则的确定，不 同的学习方法其学习方式和学习规则是不同的。 ⑴、学习方式 通过向环境学习，获取知识并改进自身性能，是NN的一个重要特 点。一般情况下，性能的改善是按某种预定的度量，通过调节自身参数 （权值）随时间逐步达到的。 按环境提供信息量的多少，学习方式有3种：监督学习（有师学 习）、非监督学习（无师学习）、再励学习（强化学习）。 ① 监督学习（有师学习） 此学习方式需要外界存在一个教师，可对给定的一组输入提供应有 的输出结果(正确答案→已知的输出）。 输出数据称为训练样本集，学习系统(ANN)可根据已知输出与实际 输出之间的差值(误差信号)来调节系统参数。 ② 非监督学习（无师学习） 不存在外部教师，学习系统完全按照环境提供数据的某些规律来 调节自身参数或结构（是一种自组织过程），以表示出外部输入的某 种固有特性（如聚类或某种统计上的分布特征）。 ③ 再励学习（强化学习） 介于有师与无师两种情况之间。外部环境对系统输出结果只给出 评价信息（奖或惩），而不是给出正确答案，学习系统通过强化那些 受奖的动作来改善自身的性能。 ① 误差纠正学习 令yk(n)为输入xk(n)时，神经元k在n时刻的实际输出，dk(n)表示应 有的输出，则误差信号可写为： 误差纠正学习的最终目的：使某一基于ek(n)的目标函数达到最小，以使 网络中每一输出单元的实际输出，在某种意义上逼近应有的输出。 ⑵、学习规则 一旦选定了目标函数形式，误差纠正学习就变成了一个典型的“最 优化”问题。最常用的目标函数是“均方误差判据”，定义为误差平方和 的均值。 其中，E为求期望算子。