机器学习与数据挖掘高级模型与理论.pptVIP

Multimedia Search Engine 机器学习与数据挖掘 数学方法与理论（3） 概率分类器 贝叶斯定理在分类问题中的应用 Na?ve Bayes问题 分布不一定是高斯的 用多个正态分布的和拟合样本分布 概率分类器 混合高斯模型 GMM: Gaussian Mixture Model 混合高斯模型 假设：所有样本来自多个潜在高斯分量 样本来自某高斯分量的概率正比其权重 混合高斯模型 假设：所有样本来自多个潜在高斯分量 样本来自某高斯分量的概率正比其权重 ?样本（观察）产生过程： 按权重随机选择一个高斯分量 以该高斯分量的参数产生样本 迭代产生更多样本 混合高斯模型 问题描述 观察：样本集 目标：描述样本集的分布函数 估计模型的参数 难点：样本来自哪个高斯分量是未知的 混合高斯模型 参数估计 高斯分量参数估计 如果已知每个样本来自哪个分量 直接计算 权重估计 如果已知每个分量的参数 最大相似度准则计算样本所属分量 ?然后计算权重 混合高斯模型 数学表述 设类ci的训练样本集为S： 混合高斯模型 EM算法 混合高斯模型 EM算法 求极值 梯度下降，牛顿迭代，拉格朗日乘数…… 对数函数导数难求 即使不用对数，常常需要面对e的指数函数及其求和 高斯分布 往往没有显式的导数 混合高斯模型 EM算法 Jensen不等式 对凸函数有： 凹函数不等式反向 log是凹的 混合高斯模型 EM算法 算法步骤 求期望(E-step) 不等式取等号的条件（X=EX） 最大化期望(M-step) 所有不可观察量已有估计值，则参数的最大相似度估计即可最大化期望 混合高斯模型 EM算法 收敛证明 混合高斯模型 EM算法 问题 收敛到局部极值 本质上是梯度下降法 鞍点 鞍点梯度为0，任何方向都不可下降 分量个数如何确定？ 个数越多，最大相似度估计越大 ?不可能把分量个数一起作为待估计参数 训练中与分类问题无关！？ 混合高斯模型 EM算法 分量个数对性能有显著影响 性能对于分量个数不是凸函数 但大体上是凸的 混合高斯模型 分量操作 引进类似遗传算法/模拟退火的机制 对分量进行分裂、合并、生、死等操作 跳出局部极值，向更大的参数空间有哪些信誉好的足球投注网站 如何选择操作？ 如何执行操作？ 混合高斯模型 执行操作（对参数空间的修改） 死：把相应分量消去即可 对应样本以最大相似度准则分配给别的分量 生：加入相应分量 计算合适的初始参数 ?启发式规则：一次迭代中所有死的分量如足够，对应的样本合为一个新分量 迭代中可能多个分量拥挤占据一个地方，则所有分量都无法生存 混合高斯模型 执行操作 合并 混合高斯模型 执行操作 分裂 增加参数的操作?要“制造”未知的信息 EM算法：局部样本进行EM迭代 运算量大 整个算法后续步骤有EM迭代 ?如何“制造”有一定合理性的参数 混合高斯模型 执行操作 分裂 假设分裂后的两分量中心间矢量为a 基本原理：把分裂出的分量按合并格公式应计算出原来的分量 混合高斯模型 执行操作 分裂 计算a 方法1：沿主轴方向 理由：方差最大 缺点：不一定合理 方法2：最不“高斯”的方向 理由：我们使用的是高斯分量，如该方向不符合高斯分布，则该方向最适合分裂 如何计算？ 混合高斯模型 执行操作 分裂 投影追踪(Projection Pursuit) 对高维数据，寻找“最有吸引力”的方向，把所有数据投影到该方向并作图，则可揭示最有意义的信息 “最有吸引力”如何定义？ 非高斯性 ?“高斯”是最平常的分布，无人喜欢 如何寻找该方向？ 最优化 混合高斯模型 投影追踪 投影追踪指数（ Projection Pursuit Index） 度量分布的“非高斯”性 Kurtosis（峰度） 混合高斯模型 投影追踪 投影追踪指数 度量分布的“非高斯”性 Skewness（偏度？） 混合高斯模型 投影追踪 投影追踪指数 度量分布的“非高斯”性 Kurtosis和Skewness的问题 高阶统计量，对误差敏感 基于熵的度量 在相同方差的假设下，高斯分布的熵最大，任何其余分布的熵都要小 ?熵最小的方向最偏离高斯分布 混合高斯模型 投影追踪 投影追踪指数 度量分布的“非高斯”性 微分熵 混合高斯模型 投影追踪 追踪方法 对整个空间进行一定程度的有哪些信誉好的足球投注网站 由于目标函数复杂，没有什么好方法 GMM中的简化 分裂的候选方向基本上都在主分量上 计算每个主分量方向上的指数，选取最小者 主分量方向是高斯分量协方差矩阵的特征矢量 ?协方差矩阵做KL分解，获得候选方向 混合高斯模型 投影追踪 局部密度估计 分裂是局部操作，只能使用局部密度 每个样本用局部密度为权重，计算加权的指数 计算分裂参数 混合高斯模型 操作选择准则 死 如果分量小到训练样本难以估计出合理的参数，则该分量可以去除 生