根植于统计力学的随机方法演示教学.pptVIP

2 随机模拟/优化方法 Gibbs抽样器的转移概率是非平稳的。 * 2 随机模拟/优化方法 1.收敛定理。 2.收敛速度定理。 随机变量 的联合概率以n的几何级数速度收敛于 的联合分布函数。（自然顺序访问） 3. 遍历定理。 Gibbs抽样满足以下三个定理： * 2 随机模拟/优化方法 模拟退火 决定温度下降速度的调度表 一个算法迭代求解每个调度表给出的新的温度下的平衡分布 模拟退火解决非凸优化问题的有力工具。 随机优化方法 * 2 随机模拟/优化方法 基本思想：当优化一个非常复杂的大系统（即具有许多自由度的系统）时不要求总是下降而是试图要求大部分时间在下降。 与传统的迭代优化算法不同： 1.不会陷入局部最小； 2.模拟退火是自适应的。 * 2 随机模拟/优化方法 模拟退火过程以Metropolis算法为基础。设温度下降没有对数快，这样可以保证全局最优，但速度慢。 退火进度表参数： 1.温度初始值。足够高，所有提出的转移都被接受。 2.温度的下降。指数形式。下降函数定义： 3.温度的最后值。 * 2 随机模拟/优化方法 模拟退火算法流程图 * 随机生成初始解 计算目标函数 扰动产生新解 计算目标函数 接受新解 按Metropolis准则接受新解 是 否 是否达到迭代次数 是否达到迭代次数 是 否 缓慢降低温度 重置迭代次数 否 运算结束 返回最优解 2 随机模拟/优化方法 模拟退火特别适用于解组合优化问题。 组合优化的目标是针对有很多可能解的有限离散化系统，最小化它的代价函数。 * 3 确定退火和最大期望算法 确定退火时，随机性以某种形式结合到能量或代价函数中，因此在一系列下降温度情况下进行确定性最优化。 聚类中需要一个畸变度量 ，满足的性质为： 1.对任何x它是y的凸函数。 2.当变元x,y有限时，它是有限的。 期望畸变： 确定退火算法 * 3 确定退火和最大期望算法 随机水平的主要度量为香农熵： 寻找服从特定随机水平概率分布，使期望畸变最小化。 拉格朗日函数： * 3 聚类的确定退火算法： 1.固定码向量，利用给定的畸变度量 的Gibbs分布计算联想概率。 2.固定联想，对码向量y最优化畸变度量。 确定退火和最大期望算法 * 3 确定退火和最大期望算法 案例研究：混合高斯分布 * 3 在确定退火中混合高斯分布样本的相位图 确定退火和最大期望算法 * 3 确定退火和最大期望算法 EM算法 E步骤：计算期望，即利用对未知参数的现有估计值，通过计算当前的最大似然期望值，得到潜在变量的后验概率；即计算： M步骤：最大化，即重新估计未知参数，使得在E步骤求得的数据的似然性最大，给出未知参数的期望估计。即： * 3 确定退火和最大期望算法 * 3 确定退火和最大期望算法 * 样本 EM计算过程 3 确定退火和最大期望算法 * 最终分类结果 3 确定退火和最大期望算法 确定性退火与EM算法类比： 确定性退火比EM算法更一般，因为确定性退火不对数据固有概率做假设。 * 4 基于统计力学的随机机器 目录 Boltzmann机 01 Logistic 信度网络 02 深度信度网络 03 * Boltzmann机 01 Logistic 信度网络 02 深度信度网络 03 4 基于统计力学的随机机器 目录 * 4.1 Boltzmann 机 BM是由随机神经元组成的二值随机机器，其中的神经元都是以概率方式二值存在，只有激活和不激活两种状态，两种状态取-1和1（或0和1）； BM的随机神经元分为两个部分——可见层和隐层，学习的主要目的是产生一个神经网络，对输入模式进行正确的建模，是无监督学习。 * 4.1 Boltzmann 机 令x表示BM的状态向量，它的分量xi表示神经元 i 的状态，状态x代表随机向量X的一次实现。从神经元i到神经元j的突出连接记为Wij，满足 wji = wij 对所有i，j wii = 0 对于所有I 用一个输出恒为+1 的虚节点到所有神经元的连接权值wj0表示偏置。? * 4.1 Boltzmann 机 ? * 4.1 Boltzmann 机 为简化表示，定义单个事件A及联合事件B和C如下： 实际上，联合事件B排斥A，而联合事件C包括A和B。B的概率是C关于A的边缘概率。因此， * 4.1 Boltzmann 机 将指数部分按是否包含xj表示成两项之和，其中包含xj的项为： 相应地，给定B，置xj= xi=±1，我们可以给出A的条件概率 也就是可写成： * 4.1 Boltzmann 机 其中φ(·)为logisti