深度学习介绍讲述.pptVIP

RBM介绍 RBM区别于BM的一点是，前者要求层内神经元之间没有连接，而后者允许层内连接 定义能量函数 联合概率分布 性质：给定可见层时，隐藏层神经元激活条件独立；反之亦然 给定训练样本训练一个RBM意味着调整参数以拟合给定训练样本。数学推导可知，该问题等价于求下述函数最大值 假设每个节点取值都在集合{0,1}中，即?i, j, vi∈ {0,1} ,hj∈ {0,1} 。 DBN 对于给定的x = (x1, x2 ? xn)，隐藏节点的第 j 个特征的取值为 1 的概率为 P(hj = 1|v) = σ(∑ wij× vi+ cj) 其中的 v 取值就是 x，hj 的取值就是 yj，也就是说，编码后的样本 y 的第 j 个位置的取值为 1 的概率是p(hj = 1|v)。所以，生成 yj 的过程就是： i） 先利用公式p(hj = 1|v) = σ(∑ wij× vi+ cj)，根据 x 的值计算概率p(hj = 1|v)， 其中 vi 的取值就是 xi 的值。 ii） 然后产生一个 0 到 1 之间的随机数，如果它小于p(hj = 1|v)， yj 的取值就是 1，否则就是 0。 DBN 反过来，现在知道了一个编码后的样本 y，想要知道原来的样本 x，即解码过程，跟上面也是同理，过程如下： i）先利用公式p(vi = 1|h) = σ(∑ wji× hj+ bi)，根据 y 的值计算概率p(hj = 1|v)，其中 hj 的取值就是 yj 的值。 ii）然后产生一个 0 到 1 之间的随机数，如果它小于p(vi = 1|h)，hi 的取值就是 1，否则就是 0。 RBM训练 一般地，链接权重Wij可初始化为来自正态分布N(0,0.01)的随机数，隐单元的偏置cj初始化为0； 对于第i个可见单元，偏置bj初始化为log[pi/(1-pi)] 。pi表示训练样本中第i个特征处于激活状态所占的比率 学习率epsilon至关重要，大则收敛快，但是算法可能不稳定。小则慢。为克服这一矛盾引入动量，使本次参数值修改的方向不完全由当前样本似然函数梯度方向决定，而是上一次参数值修改方向与本次梯度方向的结合可以避免过早的收敛到局部最优点 k为动量项学习率 开始时k=0.5，重构误差处于平稳增加状态时，k=0.9 RBM评估 Baidu : Deep Image 深度学习简介 主要内容 神经网络 深度学习 介绍 常用方法 Stacked Auto-Encoder Convolutional Neural Network Deep Belief Network 评价与应用 展望 神经网络 在机器学习与认知识别领域中，人工神经网络是一类模拟生物神经网络（中枢神经网络，特别是大脑）的模型，用来预测（决策问题）或估计基于大量未知数据的函数模型。人工神经网络一般呈现为相互关联的“神经元”相互交换信息的系统。在神经元的连接中包含可根据经验调整的权重，使得神经网络可以自适应输入，并且拥有学习能力。 作为机器学习方法的一种，神经网络算法可以用来处理一系列传统方法无法处理或处理难度较大的问题，包括计算机视觉、语音识别方面等。 基本结构 神经网络的基本单元是神经元。通过对所有输入的加权求和与非线性映射得到该神经元的输出（激活值）。 神经网络按照拓扑结构，属于一神经元为节点，以及节点间有向连接为为边的一种图，大体分为层状与网状两大类。 常用激活函数： 阈值函数 双向阈值函数 S型函数 双曲正切函数 高斯函数 神经元模型 BP网络 前馈网络的逐层计算： 输入值从输入层单元通过连接权重加权激活逐层向前传播经过隐层最后到达输出层得到输出。在信号的向前传递过程中，网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。 反向传播算法： 网络的实际输出与期望输出之间的差值即为误差信号。误差信号由输出端开始逐层向前传播,这是误差信号的反向传播。在误差信号反向传播的过程中,网络的权值由误差反馈进行调节，通过权值的不断修正使网络的实际输出更加接近期望输出。 前馈网络结构 说明 代价函数 在遇到回归问题时，指定代价函数 以使目标变量的真实值和预测值的距离最小 代价函数描述了网络输出与真实值之间的误差。 通过随机梯度下降的方法最小化代价函数以提高网络精度 可以在代价函数中引入其他约束以满足设定要求 BP算法 反向传播与梯度下降 BP算法流程 S型函数导数 主要问题 主要问题 易陷入局部极小而得不到全局最优。 训练次数多使得学习效率低，收敛速度慢。 对于隐层和隐节点的个数选择,至今还没有一个具体的定论，缺乏理论指导。 训练时，学习新样本有遗忘旧样本的趋势 常用改进方