根植于统计力学的随机方法.pptVIP

随机模拟/优化方法 转移概率的选择： 对于任意的马尔科夫链，设有先验概率，记为 ，满足归一性，非负性和对称性 。 用先验概率和概率分布比构成期望的转移概率： * 随机模拟/优化方法 根据构造，转移概率的非负的且规整化为单位1。满足细节平衡原则。 * 随机模拟/优化方法 Gibbs抽样器的转移概率是非平稳的。 Gibbs Sampling算法 1：随机初始化 2：对 循环采样 1. 2. n. * 随机模拟/优化方法 1.收敛定理。 2.收敛速度定理。 随机变量 的联合概率以n的几何级数速度收敛于 的联合分布函数。（自然顺序访问） 3. 遍历定理。 Gibbs抽样满足以下三个定理： * 随机模拟/优化方法 模拟退火 决定温度下降速度的调度表 一个算法迭代求解每个调度表给出的新的温度下的平衡分布 模拟退火解决非凸优化问题的有力工具。 随机优化方法 * 随机模拟/优化方法 基本思想：当优化一个非常复杂的大系统（即具有许多自由度的系统）时不要求总是下降而是试图要求大部分时间在下降。 与传统的迭代优化算法不同： 1.不会陷入局部最小； 2.模拟退火是自适应的。 * 随机模拟/优化方法 模拟退火过程以Metropolis算法为基础。设温度下降没有对数快，这样可以保证全局最优，但速度慢。 退火进度表参数： 1.温度初始值。足够高，所有提出的转移都被接受。 2.温度的下降。指数形式。下降函数定义： 3.温度的最后值。 * 随机模拟/优化方法 模拟退火算法流程图 * 随机生成初始解 计算目标函数 扰动产生新解 计算目标函数 接受新解 按Metropolis准则接受新解 是 否 是否达到迭代次数 是否达到迭代次数 是 否 缓慢降低温度 重置迭代次数 否 运算结束 返回最优解 随机模拟/优化方法 模拟退火特别适用于解组合优化问题。 组合优化的目标是针对有很多可能解的有限离散化系统，最小化它的代价函数。 统计物理 组合优化 样本 问题实例 状态（构形） 构形 能量 代价函数 温度 控制参数 基态能量 最小代价 基态构形 最优构形 * 确定退火和最大期望算法 确定退火时，随机性以某种形式结合到能量或代价函数中，因此在一系列下降温度情况下进行确定性最优化。 聚类中需要一个畸变度量 ，满足的性质为： 1.对任何x它是y的凸函数。 2.当变元x,y有限时，它是有限的。 期望畸变： 确定退火算法 * 确定退火和最大期望算法 随机水平的主要度量为香农熵： 寻找服从特定随机水平概率分布，使期望畸变最小化。 拉格朗日函数： 约束聚类优化 统计物理学 拉格朗日函数 自由能量 期望畸变 平均能量 香农联合熵 熵 拉格朗日乘子 温度 * 聚类的确定退火算法： 1.固定码向量，利用给定的畸变度量 的Gibbs分布计算联想概率。 2.固定联想，对码向量y最优化畸变度量。 确定退火和最大期望算法 * 确定退火和最大期望算法 案例研究：混合高斯分布 * 在确定退火中混合高斯分布样本的相位图 确定退火和最大期望算法 * 确定退火和最大期望算法 EM算法 E步骤：计算期望，即利用对未知参数的现有估计值，通过计算当前的最大似然期望值，得到潜在变量的后验概率；即计算： M步骤：最大化，即重新估计未知参数，使得在E步骤求得的数据的似然性最大，给出未知参数的期望估计。即： * 确定退火和最大期望算法 * 确定退火和最大期望算法 * 样本 EM计算过程 确定退火和最大期望算法 * 最终分类结果 确定退火和最大期望算法 确定性退火与EM算法类比： 确定性退火比EM算法更一般，因为确定性退火不对数据固有概率做假设。 * 基于统计力学的随机机器 目录 Boltzmann机 01 Logistic 信度网络 02 深度信度网络 03 * Boltzmann机 01 Logistic 信度网络 02 深度信度网络 03 基于统计力学的随机机器 目录 * Boltzmann 机 BM是由随机神经元组成的二值随机机器，其中的神经元都是以概率方式二值存在，只有激活和不激活两种状态，两种状态取-1和1（或0和1）； BM的随机神经元分为两个部分——可见层和隐层，学习的主要目的是产生一个神经网络，对输入模式进行正确的建模，是无监督学习。 * Boltzmann 机 令x表示BM的状态向量，它的分量xi表示神经元 i 的状态，状态x代表随机向量X的一次实现。从神经元i到神经元j的突出连接记为Wij，满足