最大期望值EM算法.ppt

固定其他参数θ后，Qi(z (i))的计算公式就是后验概率 期望最大化推导 * 期望最大化推导 * 假定θ(t) 和θ(t+1)是EM第t次和t+1次迭代后的结果。选定θ (t) 后，我们得到E步 Jensen不等式中的等式成立 期望最大化推导 * E步求出来的L(θ(t)) 琴生不等式 期望最大化推导 * 一种收敛方法是l(θ)不再变化，还有一种就是变化幅度很小。那么最终我们会到达最大似然估计的最大值。 期望最大化推导 * * 期望最大化算法 汇报人： 喻定 * 目录 期望最大化思想 期望最大化推导 * 最大化似然估计 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 目的：根据样本值估计参数=模型=结果 例如：money= k1*x+k2*y+k3*z X:面积 y:地段 z:楼层 k:参数 money:房价 根据某一单元的10户房的样本x,y,z,money 。 根据已知10组数据用最大似然法求出k1,k2,k3这三个参数为0.6，0.3，0.1，得出模型 money = 0.6*x+0.3*y+0.1*z 只要知道小区里某个房子的面积、地段、楼层=房价 套用模型 * 最大化似然估计 * 此表达式不是条件概率，因为此时参数看作变量 最大化似然估计 求最大似然函数估计值的一般步骤： （1）写似然函数； （2）取对数； （3）求导数，令导数为0，得到似然方程； （4）解似然方程，得到的参数即为所求。 * 期望最大化思想 机器学习十大算法之一——期望最大化算法(EM) 用来干嘛的？——解决参数估计问题 EM很简单，简单在于它的思想，仅包含了两个步骤就能完成强大的功能；（E步骤， M步骤） EM又很复杂，复杂在于它的数学推理涉及到比较繁杂的概率公式等。（凸函数，琴生不等式，拉格朗日中值定理，贝叶斯，最大似然估计等） * 期望最大化思想 EM算法是一种有效的迭代过程。 E?M E步骤：根据上一次迭代的参数来计算出隐藏变量的后验概率，其实就是隐藏变量的期望。= p(θ|x)值 =p( z |x,θ) M步骤：将似然函数最大化以获得新的参数值。估计的模型参数使得观察的数据出现概率是最大的。= 更新θ值 EM算法有很多的应用，最广泛的就是clustering、GMM、HMM等等。 * 期望最大化思想 K-means聚类例子 期望步（E-步）：给定当前的簇中心，每个对象都被指派到簇中心离该对象最近的簇，期望每个对象都属于最近的簇。 最大化步（M-步）：对于每个簇，算法调整其中心，使得到该新中心的距离之和最小化。将指派到一个簇的对象的相似度最大化。 * 期望最大化思想 GMM混合高斯模型例子： 班上学生的身高就是一个GMM混合高斯模型，由男生身高的高斯分布和女生身高的高斯分布组成。 估计每个样例是男生还是女生=分别估计均值和方差。 * 期望最大化思想 N Y * 利用当前参数值计算数据j 由第i个类生成的概率 收敛？ 最后参数值 期望最大化思想 * EM 期望最大化思想 * * 期望最大化思想 * 期望最大化思想 这里有10个样例，每个样例两个特征, 第一步，分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。 * * 期望最大化推导 * Convex functions Definition 1 若对于[ a，b ]内任意两点x1和x2，且任意λ ∈ [0, 1]都满足 f (λx1 + (1 - λ)x2) ≤ λf(x1) + (1 - λ)f(x2)通常称函数f(x)在区间（a，b）内是“下凸函数”。 特别情形取λ=1/2 琴生不等式 期望最大化推导 *