第18讲 人工神经网络与机器学习课件.ppt

18 人工神经网络与机器学习 人工神经网络 西班牙解剖学家Cajal于十九世纪末创立了神经元学说。 20世纪60年代后期“神经科学” 细胞与分子水平的研究 20世纪90年代开始，脑科学研究中整合性 神经网络与人工神经网络 神经元的结构 神经网络与人工神经网络 神经元具有以下的特性与功能 信息传递的方向性：在每一个神经元中，信息都是以预知的确定方向传递，即从信息接受部分（树突）传到轴突的起始部分，再传到突触，最后传给另一神经元。这称为神经元的动态激化原则。 时空整合：神经元的细胞体能对不同时间由同一突触传入的神经冲动进行整合（称时间整合）和对同一时间由不同突触传入的神经冲动进行整合（称空间整合）。 兴奋与抑制：神经元传入冲动的时空整合使细胞膜的电位升高，并超过阈值时产生神经冲动并由轴突输出（称神经元处于兴奋状态）。当传入冲动的时空整合使细胞膜的电位下降，并低于阈值时将不产生神经冲动且无输出（称神经元处于抑制状态）。 延时和不应期：神经元在相邻两次神经冲动之间有时间间隔，该间隔称为神经元的不应期。在此期间，神经元不响应、不处理、不传递神经冲动，神经元出现延时。 结构可塑性：突触传递信息的特性是可变的。随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元间的连接是柔性的，这称为结构的可塑性。 学习、遗忘和疲劳：由于结构可塑性，突触的传递作用有增强、减弱和饱和，对应于神经元具有学习、遗忘和疲劳功能。 神经元经突触与树突连接起来便形成了神经网络。 神经网络与人工神经网络 人工神经网络是利用人工的方式对生物神经网络的模拟。 神经元的M-P模型 神经网络与人工神经网络 人工神经元结构模型 人工神经元的工作过程是： 从输入端接收输入信号xi 根据连接权值?i，求出所有输入的加权和? 用某一非线性特征函数f进行转换，获得输出y 神经网络与人工神经网络 神经元互连基本形式 神经网络与人工神经网络 人工神经网络在以下方面体现了人脑的基本特性： 人工神经网络为广泛连接的巨型系统，它更适合于形象思维的模拟。 人工神经网络基于大规模并行协同处理机制，这使得人工神经网络可以较好地模拟人脑神经系统的处理能力。 人工神经网络具有和人脑一样的容错和联想能力。 人工神经网络具有自学习、自组织、自适应功能。在人工神经网络中，可以通过改变神经元之间的连接权值来有效地模拟人类的学习过程。理论研究表明，选择合适的神经元之间的连接权值可以使人工神经网络以任意小的误差逼近任何连续函数。这意味着神经网络具有很强的自学习能力、自组织能力和自适应能力。 神经网络计算机的特点 神经计算机又称为第六代计算机，它的研制开始于20世纪80年代后期。 美国、欧共体和日本都把它作为一项国家计划项目开发研究，并作为21世纪的关键技术。 1988年，美国国防部制定了8年计划，投资4亿美元用于神经网络计算机的研究和开发；1990年，又提出了神经网络的“风暴计划”，计划为期两年，主要研究神经计算机在军事领域的应用。 日本，神经计算机作为“新信息处理技术开发计划”中的一项基础技术被高度重视。从1992年起，计划为期10年，投资1000亿日元研究和开发神经计算机。 日本在1992年就已成功研制出一部“通用神经网络计算机”。 欧共体，作为欧洲信息技术研究开发战略的一环，广泛开展了神经网络计算机研发。 神经网络计算机的特点 神经网络计算机有下列特征： 具有快速、准确的信息处理能力 具有自学习、自适应和自组织能力 具有近似人脑的信息处理能力 适合于智能信息处理 神经网络计算机的实现方式 神经网络计算机分类 神经网络计算机的实现方式 通用神经网络计算机 神经网络计算机的实现方式 前后端神经网络计算机 神经网络计算机的实现方式 中科院预言神1号神经网络处理机硬件结构 神经网络计算机的实现方式 全神经网络计算机 全神经网络计算机由全硬件实现。该类计算机物理上的处理单元及通讯通道与具体的神经网络模型中的神经元及其连接一一对应，每一神经元及连接都有与之对应的物理器件。 近些年来，神经计算机的研究发展很快，已有产品进入市场。 将光技术应用于神经网络计算机从而开发出光神经计算机也成为一种趋势。光神经计算机的特征： 光具有并行性，它与神经计算吻合； 光波的传播无交叉失真,传播容量大； 可能实现超高速运算。 神经网络计算机的实现方式 重要的神经网络模型 书P. 172 BP网路 BP网络机制 学习 建立网络模型 通过样本数据进行学习 将学习获得的知识保存在神经元间的连接权中 计算（工作） 应用保存在神经元间连接权中的知识进行计算 BP网络学习 通过样本数据（I，T）训练神经网络，以建立输入与输出的关系，这种关系保存在神经元之间的连接权之中。 符号 一