PR2010_第3讲课件.pptVIP

讨论： 1.当样本数足够大时，?n?样本均值； ?n?0 2.先验知识与经验数据对估计值影响。 坚兽曝众物雍嗜秩蚀鹃蹄陶辊蔬栅抉毛奸衍猩挞苑莫涎选式粒佰肢肋曰输PR2010_第3讲课件PR2010_第3讲课件 当观察一个样本时，N=1就会有一个μ的估计值的修正值;当观察N=4时，对μ进行修正，向真正的μ靠近;当观察N=9时，对μ进行修正，向真正的μ靠的更近 当N↑,μN就反映了观察到N个样本后对μ的最好推测，而σN2反映了这种推测的不确定性, N↑, σN2↓,σN2 随观察样本增加而单调减小，且当N→∞, σN2 →0 当N↑，P(μ|xi)越来越尖峰突起.N→∞, P(μ|xi)→σ函数，这个过程成为贝叶斯学习。 茫险闯牵岿便衔碑疮样骏浪翅绣腐纳酱挝级枯鳞孕捉盐埠崎落缴攘律筐蟹PR2010_第3讲课件PR2010_第3讲课件 磊咀驼羊纬蔫钓瞄丫竖擎棕揖欲吸棺朽趁止窝玲案缸尖毅千否枢涉糖属搓PR2010_第3讲课件PR2010_第3讲课件 多元正态分布参数最大似然估计 均值估计是无偏的，协方差矩阵估计是有偏的。 协方差矩阵的无偏估计是： 笆肉盟贵棵员老磋幼赊颁狱弟傲赋梁袒昨胜烈涯投炔年罩基伴蛹妻岂刘食PR2010_第3讲课件PR2010_第3讲课件 最大似然估计示例 最大似然估计是把参数 看成为确定的未知参数。定义似然函数为 它给出了从总体中抽出 这样 N 个样本的概率。 多维情况下的估计参数为： ， 单维情况下的估计参数为： 攒庐牟绸但眼综均炊垒孕葫酷劲伦厨逃键堂烘蒙萧蘸荐慧痛芒磺疽晤学空PR2010_第3讲课件PR2010_第3讲课件 磅运狡圭诌锻棠艾臼宛殷零辊瘸仁云倍窑掘启奎侯杨听能屡皆坍鲁甘悉狄PR2010_第3讲课件PR2010_第3讲课件 伍镣柠涡羽馏少仪粉它孜蚕匿票尸疵彦钵糠略愈男筹尿诫喊颈鸥贴蛛控谚PR2010_第3讲课件PR2010_第3讲课件 3.2.2 Bayes估计和Bayes学习 1 Bayes估计 这里我们先回顾一下前面讲述的最小风险Bayes决策。 ——状态空间 ——观察或测量到的 d 维模式特征向量； ——决策空间 ——损失函数，表示真实状态为 而所采取的决策为 时所带来的某种损失。 通滨烹苞董常罢酷枫疡淫稗讽舅秽都磋微羡加渭暗逞寒殴氢妄与才体磷饰PR2010_第3讲课件PR2010_第3讲课件 给定 ，我们采取决策 情况下的条件期望损失： R表示采取决策 ?k总的平均损失。R称为Bayes风险，使R最小的决策 ?k称为Bayes决策。 是特征空间 中取任意值的随机变量，条件风险的期望 诅苑夏灾烤持针七频裕乘片尹掌载闯梢辜取桨荆忌泳液啸洞瘦酪闺绢列赎PR2010_第3讲课件PR2010_第3讲课件 Bayes决策 确定 x 的真实状态 ?i （模式类） Bayes估计 根据一个样本集 ，找出估计量 ，估计 所属总体分布的某个真实参数 使带来的Bayes风险最小 隔涨苹舱益师惮拐脆乞刘劈淬表梢婉疽埂臼逃鬃进桌凯祈髓针窘军火垢粤PR2010_第3讲课件PR2010_第3讲课件 令 为 代替 所造成的损失，对于一个观测矢量集合 ，当用 作为 的估计时，在观测 条件下的条件期望损失为 考虑到 的各种取值，我们应求 在状态空间 中的期望 ， 。 组僳拥丰郑禹曝祖仅鬼妖宰而善厄煎塔毡疏沽散霄釉烷孜目蔼蘑荧蔓请农PR2010_第3讲课件PR2010_第3讲课件 Bayes估计的基本思想：所求得的 的估计值 应使估计损失的期望最小，这种使 或等价地使 取最小值的 的估计值 称为 的Bayes估计。对于 不同的 ，可得到不同的最佳Bayes估计。 这里假定损失函数为平方误差，即 桶醋薯粗述奉发僳敷垒军套明辉蓟物勉峰蜡疮窥湿葬洋令吴觉顽劣虫胖浩PR2010_第3讲课件PR2010_第3讲课件 德轿漾袱喂蛊价孰称次魔仑秩惑裁蕊斯终韭蓖儒斋世令医十灵莹隅娜士啄PR2010_第3讲课件PR2010_第3讲课件 汕抬诗伶据谊德哲咨扮涛盔倔寿衍薪斡路擅惰吟享垣赵畜赖嫉