大数据算法_EM算法—最大期望算法讲述.pptxVIP

大数据分析算法 EM算法——最大期望算法 食堂的大师傅炒了一份菜，要等分成两份给两个人吃 2 ——显然没有必要拿来天平一点一点的精确的去称分量， 最简单的办法是先随意的把菜分到两个碗中，然后观察是 否一样多，把比较多的那一份取出一点放到另一个碗中， 这个过程一直迭代地执行下去，直到大家看不出两个碗所 容纳的菜有什么分量上的不同为止 EM算法就是这样，假设我们估计知道A和B两个参数，在 开始状态下二者都是未知的，并且知道了A的信息就可以 得到B的信息，反过来知道了B也就得到了A。可以考虑首 先赋予A某种初值，以此得到B的估计值，然后从B的当前 值出发，重新估计A的取值，这个过程一直持续到收敛为 止。 16:54:10 EM算法 3 ? 最大期望算法（Expectation-maximization algorithm，又译期望最大化算法）在统计中被 用于寻找，依赖于不可观察的隐性变量的概率 模型中，参数的最大似然估计。 ? 在统计计算中，最大期望算法是在概率模型中 寻找参数最大似然估计或者最大后验估计的算 法，其中概率模型依赖于无法观测的隐藏变量。 最大期望经常用在机器学习和计算机视觉的数 据聚类领域。 16:54:11 期望值（EXPECTED VALUE) ? 在概率和统计学中，一个随机变量的期望 值是变量的输出值乘以其机率的总和，换 句话说，期望值是该变量输出值的平均数 ? 如果X是在概率空间（Ω, P）中的一个随机 变量，那么它的期望值E[X]的定义是 E[X] = ∫?X dP ? 离散：E X = ?? ???? ???? ? 连续：E X = ?∞ ???? ?? ???? 4 ∞ 16:54:11 最大似然估计 某位同学与一位猎人一起外出打猎，一只野兔 从前方窜过．只听一声枪响，野兔应声到下， 如果要你推测，这一发命中的子弹是谁打的？ ——你就会想，只发一枪便打中，由于猎人命 中的概率一般大于这位同学命中的概率，看来 这一枪是猎人射中的 16:54:11 5 最大似然估计 ? 假设我们需要调查我们学校的男生和女生的身高分布。 你在校园里随便地活捉了100个男生和100个女生。男 左女右，首先统计抽样得到的100个男生的身高。假设 他们的身高是服从高斯分布的。但是这个分布的均值u 和方差?2我们不知道，这两个参数就是我们要估计的。 记作θ=[u, ?]T。 ? 数学语言： 在学校那么多男生（身高）中，我们独立地按照概率密度 p(x|θ)抽取100了个（身高），组成样本集X，我们想通过样 本集X来估计出未知参数θ。概率密度p(x|θ)我们知道了是高 斯分布N(u,?)的形式，其中的未知参数是θ=[u, ?]T。 抽到这100个人的概率： 16:54:11 似然函数：L(??) = L(x1,x2,…xn|??) = ?? 6 ??(????|??) ??=? 最大似然估计 7 ? 上例中，在学校那么男生中，我一抽就抽到这 100个男生（表示身高），而不是其他人，那 是不是表示在整个学校中，这100个人（的身 高）出现的概率最大啊。那么这个概率怎么表 示？哦，就是上面那个似然函数L(θ)。所以， 我们就只需要找到一个参数θ，其对应的似然 函数L(θ)最大，也就是说抽到这100个男生 （的身高）概率最大。这个叫做θ的最大似然 估计量 16:54:11 最大似然估计 ? 设总体X是离散型随机变量，其概率函数为 ??(??; ??) ，其中?? 是未知参数．设X1,X2,…Xn为取自总体X的样本，X1,X2,…Xn 的 联合概率函数为: ? 若已知样本取值为x1,x2,…xn ，则事件 {X1 = x1 , X2 = x2,…Xn = xn }发生的概率为 ?? ??(????|??) ??=? ? 显然上面的概率随??改变而改变，从直观上来讲，既然样本 值x1,x2,…xn出现，即表示其出现的概率相对较大，而使得 ?? ??(????; ??)取较大的值，不妨看做??的函数 ??=? ? 16:54:11 似然函数：L(??) = L(x1,x2,…xn|??) = ?? ??(????|??) ??=? ?? 8 ??(????|??) ??为常量， X1,X2,…Xn为变量 ??=? 最大似然估计 ? 如何求L(??)最大值？ ? 考虑到有累乘，不妨取对数，这里是因为lnL函数的单 调性和L函数的单调性一致，因此L(??)的最大值转换为 lnL(??)的最大值 ?? ?? = ?????? ?? ?? = ???? ?? ???? ?? ??=? ?? = ??????(????|??) ??=? ? 求最值,可转换为求解下面的方程 ????????(??) ???? = ? 16:54: