第4章人工神经网络讲述.ppt

* * * 感知器编程模型 参数初始化 获取训练数据 确定样例模型 训练网络 识别或分类 前馈网络编程模型 参数初始化 获取训练数据 确定样例模型 训练网络 识别或分类 确定网络模型 前馈网络输入输出模型 输入数据 神经网络模型 输出数据 训练数据 图像数据的提取 BMP文件头 BMP信息头 图像矩阵 调色板（RGB图无此） 图像文件 * * * * * * * * * * * * * * * * * * * * * * * * * * * 第4章 人工神经网络 4.1 简介 ANN：Artificial Neural Network 使用梯度下降来调节网络参数以拟合由输入-输出对组成的训练集合 对于训练数据中的错误鲁棒性（robust）很好 应用： 视觉场景分析（interpreting visual scenes） 语音识别 机器人控制 4.1 简介 应用：反向传播算法（back propagation） 学习识别手写字符 学习识别口语 学习识别人脸 4.1 简介：生物学动机 ANN的研究主要是受到了生物学启发 生物的学习系统是由相互连接的神经元（neuron）组成的异常复杂的网络 ANN由一系列简单的单元相互密集连接构成的： 每个单元有一定数量的实值输入 产生单一的实值输出（可能成为其他很多单元的输入） 4.1 简介：生物学动机 人类的大脑： 人类的大脑是由1011个神经元相互连接组成的密集网络 平均每一个神经元与其他104个神经元相连 神经元的活性通常被通向其他神经元的连接激活或抑制 目前所知最快的神经元转换时间是10-3秒级别，而同时计算机的转换时间为10-10 人脑通过视觉识别自己的母亲只需要0.1秒，神经元的转换次数只有数百步 神经元对蛋白质的分拣 4.1 简介：仿生学 ANN： 人类大脑的高超处理能力可能得益于高度并行处理算法 构建ANN系统的一个动机就是获得这种基于分布表示的高度并行算法 大多数ANN软件在串行机器上仿真分布处理，但高度并行机和专门为ANN应用设计的专用硬件也已出现 但ANN并未模拟生物神经系统中的很多复杂特征。。。 短视频 【TED】用超级计算机构造大脑 【TED】吉尔伯特泰勒的奇迹 4.1 简介：研究方向分类 两类： 目标：使用ANN研究和模拟生物学习过程 目标：获得高效的机器学习算法，而不管这种过程是否反映了生物学过程 现今主要研究集中于目标2。 本书的内容也集中于目标2 Why？ 4.2 神经网络表示 ALVINN系统： Autonomous Land Vehicle In a Neural Network 通过学习，该系统可以在高速公里上以正常速度驾驶汽车 输入是一个30X32像素的网格，像素亮度来自安装在车辆上的一个前向摄像机 输出是对车辆行进方向的控制 ALVINN网络经过5分钟训练，在高速公路上以70英里/小时的时速行驶了90英里 学习驾驶的神经网络 4.3 适合神经网络学习的问题 非常合理的问题：训练集合为含有噪声的复杂传感器数据 问题应该有以下特征： 实例是用很多“属性-值”对表示的 目标函数的输出可能是离散值、实数值或者由若干实数属性或离散属性组成的向量 训练数据可能包含错误 可以进行长时间的训练 可能需要快速求出目标函数值 人类能否理解学习到的目标函数是不重要的 神经网络的硬件准备 HP公司：The Machine： 基于忆阻器（memristor） 计算机的内存和硬盘：数据来回穿梭 忆阻器可以同时替代两者 更强计算能力，同时更节能省电 其上运行新操作系统：Linux++ 忆阻器 有记忆功能的非线性电阻器 具备比内存更快的读取速度 节省数据来回的电力和时间 关闭电源后仍具有记忆数据的能力 本章叙述的步骤 介绍组成神经网络的几种主要单元： 感知器（perceptron） 线性单元（linear unit） sigmoid单元（sigmoid unit） 给出训练这些单元组成的多层网络的反向传播算法 人脸识别的神经网络算例 4.4 感知器 以实数值向量作为输入，计算这些输入的线性组合 如果结果大于某个阈值，就输出1，否则输出-1 感知器图例 训练线性单元的梯度下降算法 4.5 多层网络和反向传播算法 单个感知器只能表示线性决策面 反向传播算法所学习的多层网络能够表示种类繁多的非线性曲面 例：多层前馈网络 4.5.1 可微阈值单元 Sigmoid函数取代开关函数 BP算法 4.6 反向传播算法的说明 收敛性：一种有效的函数逼近算法 局部极小值：不一定能收敛到全局最小误差 网络的权越多，误差曲面的维数就越高，越不容易坠入局部极小值 如何缓解局部极小值问题： 为梯度更新法则加一个冲量项 使用随机的梯度下降 使用不同的局部极小值，但用不同的随机权值初始化每个网络 前馈神经网络的表