深度学习与信号处理： 原理与实践 课件 第8、9章-深度受限玻尔兹曼机、深度置信网络.完成.pptx

;深度玻尔兹曼机是一种以受限玻尔兹曼机(RestrictedBoltzmannMachine,RBM)为基础的深度学习模型，其本质是一种特殊构造的神经网络。深度玻尔兹曼机由多层受限玻尔兹曼机叠加而成的，中间层与相邻层是双向连接的。;随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态转移。神经元的净输入不能决定其状态取１还是取０，但能决定其状态取１还是取０的概率。这就是随机神经网络算法的基本概念。;8.1.1BM网络结构及运行原理;2.运行原理

;温度T对概率的影响;8.1.2网络能量函数与有哪些信誉好的足球投注网站机制;8.1.2网络能量函数与有哪些信誉好的足球投注网站机制;8.1.3Boltzmann分布;8.1.3Boltzmann分布;8.1.3Boltzmann分布;BM网络类型;8.1.4Boltzmann学习算法;2．网络热平衡状态

;8.1.5Boltzmann机的运行步骤;8.2.1受限玻尔兹曼机及稀疏受限玻尔兹曼机;实际应用中关注的是观测数据v的概率分布，它对于的边缘分布具体为;等号右侧多项式中的第1个项称为正项(positivephase,PP)，可以将训练数据代入和直接计算出来；第2个项称为负项(negativephase,NP)，其中是无法直接通过数学推导出来的，因此Hinton提出了对比散度(contrastivedivergence)算法，分别以各个训练数据作为初始状态，通过执行blockGibbs采样进行几次状态转移，然后以转移后的状态作为样本来估算NP的均值。Hinton还通过实验证明,在实际应用中甚至只需要一次状态转移就能保证良好的估算效果。; 在多层RBM机网络结构中，可将所有相邻的两层结构看作是一个RBM，而将较低一级的隐含层作为与其相邻的高一级隐含层的输入层；采用贪心逐层训练算法以图像的特征向量作为输入自底向上每次训练1个RBM，以此可初步确定整个RBM网络的空间参数；之后还需要对所有层之间的参数进行基于反向BP神经网络的整体微调和优化，经多次反复训练不断调整层与层之间的空间参数，使网络达到一个平衡状态。;2.稀疏受限玻尔兹曼机;3.改进的稀疏RBM;稀疏表示可以基于每个隐含单元的稀疏度来实现，实现稀疏表示的方法是让隐含单元尽可能少活跃(即隐含单元应该仅有一小部分被激活)；这里直接通过正则项限制所有隐含单元的激活概率产生稀疏性。前者通过限制每个隐含单元在N个训练样本上的激活时间产生稀疏表示；而这里是通过限制隐含单元的活动数量达到稀疏表示。这是最自然的稀疏表示诱导方式。

这样当给定训练样本v时，稀疏RBM优化问题变为;正则项R上参数的梯度为;在模型训练学习时，先用CD快速学习算法计算对数似然函数的梯度近似值，再对正则项按式进行梯度下降计算。为了提高最小化正则项R的计算效率，只更新隐含层偏置项。如稀疏RBM训练算法;竞争型神经网络有很多具体形式和不同的学习算法，但最主要的特点体现在竞争层中神经元之相互竞争，最终只有一个神经元获胜，以适应训练样本。自组织映射网络(Selforganizingmapnetwork,SOMN)是竞争型神经网络中应用较为广泛的一种。SOMN能够自动寻找训练数据间的类似度，并将相似的数据在网络中就近配置，其训练步骤如下：

步骤1：网络初始化。使用随机数初始化输入层与映射层之间的连接权值。

步骤2：计算映射层的权值向量和输入向量的距离。计算网络中各神经元权向量和输入向量之间的欧氏距离，得到具有最小距离的神经元j作为最优神经元。

步骤3：权值学习。依据最优神经元，对输出神经元及其邻近神经元权值进行修改，即;1．基于竞争的稀疏惩罚机制

CDSRBM采用了类似于SOM网络的神经元竞争机制对隐单元进行稀疏化。在模型训练过程中，CDSRBM首先依据训练样本选择最优匹配隐单元，然后依据最优匹配隐单元激活状态对其他隐单元进行稀疏抑制，最后执行参数更新，具体机制如下：

1)距离度量

RBM将原始数据通过模型连接权值由原始维度空间映射至多维0-1空间，样本所生成的0-1序列即为对应的多特征组合。鉴于RBM模型连接权值为可见单位维数×隐单元维数，即连接权值的列数等于隐单元个数，且连接权值与样本在单位刻度上并不一致，因此，CDSRBM没有采用SOMN常用的欧氏距离作为度量标准，而是选用神经元权值向量与输入向量之间的夹角余弦值评估两者相似度，即样本i与隐单元j之间余弦相似度定义为;1．基于竞争的稀疏惩罚机制;RBM的训练为无监督训练，其目标为最大化训练数据出现的似然概率，采用的训练方法为对比散度(ContrastiveDiver