《人工神经网络设计 》 课件 第9章 深度信念网络.pptx

人工神经网络设计09深度信念网络

目录受限玻尔兹曼度信念网络深度信念网络设计应用实例：手写数字识别

01受限玻尔兹曼机2006年，GeoffreyHinton教授及其同事提出了深度信念网络（DeepBeliefNetworks,DBN）。为了保证深层网络的训练效果，Hinton教授等人借助受限玻尔兹曼机（RestrictedBoltzmannMachine，RBM）对网络进行逐层预训练，解决了深层神经网络训练问题，对神经网络的发展产生了深远的影响。?基本概念3

玻尔兹曼机（BoltzmannMachine，BM）是一种由二值随机神经元构成的全连接对称神经网络，包括可见层和隐含层:可见层:用于表示输入数据的特征；隐含层:用于捕捉数据中的隐含特征。?玻尔兹曼机图9-1玻尔兹曼机结构401受限玻尔兹曼机

?玻尔兹曼机与受限玻尔兹曼机神经元相互连接构成全连接概率图模型，通过调整神经元间之的连接权值实现似然值最大化，从而建立数据的分布关系。在玻尔兹曼机中，可见单元和隐含单元之间的连接是任意的。例如，任意两个隐含单元可能存在连接，任意两个可见单元也可能存在连接。因此，易导致玻尔兹曼机计算复杂性较高。受限玻尔兹曼机（RestrictedBoltzmannMachine,RBM）应运而生。501受限玻尔兹曼机

受限玻尔兹曼机是一个二分图结构的无向图模型。与玻尔兹曼机类似，受限玻尔兹曼机也由可见层与隐含层组成。不同的是，受限玻尔兹曼机的可见单元或者隐含单元之间没有连接。受限玻尔兹曼机也被称为簧风琴（Harmonium）?受限玻尔兹曼机图9-2受限玻尔兹曼机结构601受限玻尔兹曼机

假设一个受限玻尔兹曼机由Kv个可见单元和Kh个隐含单元组成，定义如下：（1）可见单元的状态构成随机向量。?受限玻尔兹曼机（2）隐含单元的状态构成随机向量。（4）偏置和，其中ai为可见单元vi的偏置，bj为可见单元hj的偏置。（3）权值矩阵，其中元素wij为可见单元vi和隐含单元hj之间边的权值。受限玻尔兹曼机结构相对简单，可以根据具体任务的需求选择使用有监督或者无监督的学习方式，广泛应用于降维、分类、回归、协同过滤、特征学习以及主题建模等领域。701受限玻尔兹曼机

?能量最小化类似于Hopfield神经网络，玻尔兹曼机和受限玻尔兹曼机会为网络定义一个“能量函数”，当能量达到最小值时，网络在达到最优状态。受限玻尔兹曼机的能量函数定义如下：若将能量函数写成向量形式，则表示如下：801受限玻尔兹曼机

?能量最小化基于能量函数，可以得到联合概率分布：通过对概率函数求极值，可以得到网络的最佳参数。式中，Z为配分函数，也称归一化因子：901受限玻尔兹曼机

?深度信念网络02深度信念网络然而，配分函数的计算涉及对所有可能状态的指数级求和，这在大多数情况下是不可行的。因此，马尔可夫链蒙特卡洛（MarkovChainMonteCarlo,MCMC）和对比散度（ContrastiveDivergence,CD）等方法被提出，以有效训练受限玻尔兹曼机。误差反向传播算法是训练神经网络的常用方法，但随着神经网络隐含层数量的增加，误差在从输出层逐层前向传递的过程中会逐渐减小，甚至趋近于零，导致梯度消失，从而使神经网络得不到有效训练。因此，在深度信念网络提出之前，深度神经网络一度被认为难以训练。10

?深度信念网络结构深度信念网络是一种由多个堆叠的概率生成模型（通常是受限玻尔兹曼机）组成的深层神经网络。最底层为可见单元，其他层为隐含单元。图9-3深度信念网络结构图1102深度信念网络

?深度信念网络结构深度信念网络可以看作由多个受限玻尔兹曼机堆叠而成。因此，可以以受限玻尔兹曼机的训练方式为基础，通过逐层训练的方式对深度信念网络参数进行调整，这种方法被称为贪心逐层训练算法。图9-4深度信念网络逐层训练过程1202深度信念网络

?深度信念网络结构①将输入向量v和第一个隐含层h1作为受限玻尔兹曼机的可见层和隐含层，通过训练获得当前受限玻尔兹曼机的最佳参数，包括可见层和隐含层之间的权值、各神经元的偏置等。②将当前的隐含层h1作为下一层的可见层，将隐含层h2作为新的受限玻尔兹曼机，训练该受限玻尔兹曼机并获得参数，即第二个受限玻尔兹曼机被训练为模拟第一个受限玻尔兹曼机的隐含单元定义的分布。③将当前的隐含层h2作为可见层，将隐含层h3作为新的受限玻尔兹曼机隐含层，依次逐层训练。在各受限玻尔兹曼机具体训练过程中，可以采用对比散度算法进行训练。1302深度信念网络

上述逐层进行训练的过程被称作预训练过程。在完成预训练后，可以执行反向传播算法