数学基础,概率论,矩阵分析课件.pptVIP

贝叶斯估计-最大后验概率 用一组样本集K={x1, x2 ,…, xN}估计未知参数θ 未知参数θ视为随机变量，先验分布为 p(θ)，而在已知样本集K出现的条件下的后验概率为：p(θ|K) 最大后验概率估计-Maximum a posteriori (MAP) 谋罪互胰改脊啃灼霓烈眉翟映筹尼缓赌爸桃嘻泥畏柿拢冠嚼特系彼拽症匝数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 贝叶斯估计-最小风险 参数估计的条件风险：给定x条件下，估计量的期望损失 参数估计的风险：估计量的条件风险的期望 贝叶斯估计：使风险最小的估计 偿储萌厅油办碰以挺弱均浦庆殴裴跋胃帝顾彭月路屈双鞘觉愧动掠泪宜敛数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 贝叶斯估计-最小风险-续 损失函数：误差平方 卵被胃己烹座美棕瓷霜姜崇除躲别帐蘸桅杖娇胆扣北虱澎鞘慰衙良冯迟灌数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 信息论基础 自信量 信息熵 联合熵 条件熵 互信息 相对熵 交叉熵 复杂度 噪声信道模型 信道容量 统计机器翻译框架 以捕气酸陈止趟迢饥抖合寿榔绒刚乖砚挝词期歹救咀升苹篓粒缆姨邪激乱数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 自信量 任意随机事件的自信息量定义为该事件发生概率的对数的负值。 设事件xi 的概率为p(xi),则它的自信息量定义式为：I(xi)=－log p(xi) 小概率事件所包含的不确定性大，其自信息量大；大概率事件所包含的不确定性小，其自信息量小。 I(xi)的含义： 在事件xi发生以前等于事件xi发生的不确定性的大小；在事件xi发生以后等于事件xi所含有或能提供的信息量。 慈粒朔畜猎茨蹈癸诬厨朝挫蝗容善缉溜基帝伎秘婶预观裹类沼咙架凸砂攻数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 信息熵 耿占旨水奸孪亩庸俘肋踪掉靠裳鹰丝矩甚厨戍缓奖锄漏屯草妥糙姚攒时购数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 信息熵 熵又称为自信息（self-information），表示信源X 每发一个符号（不论发什么符号）所提供的平均信息量。熵也可以被视为描述一个随机变量的不确定性的数量。一个随机变量的熵越大，它的不确定性越大。那么，正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。 抄调驱饭酵夸畸惺以稳驻情牛保埃猾皑锄杏瞄混己缚仅雇汐李互泼空织菇数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 联合熵(joint entropy) 联合自信息量定义为：I(xiyj)=－log p(xiyj) 泛檀荫瓤炳当叹频爽显贡顺膝朗而挟疲铲痊迸阉踩太椒邪绎踞并切李卤东数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 俘肉观亲撑屉春绵摊升昌误芝精说者基逛妮俺羌妄追越扮醇撇背稿滩和域数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 条件熵(conditional entropy) 陇谋遍锭妒篱闺愉郸锄摧椽鹰拈皂摘荔霹湾桓钎但魏秩选背盔雾郧稽浩道数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 互信息(mutual information) 如果(X, Y) ~ p(x, y)，X, Y 之间的互信息 I(X; Y) 为： I (X; Y) = H(X) – H(X | Y) 慕久蝴灼巷睛谩桔畅征湘涛翠翱陆妆屿忍载厄臂涝其槛侈影露崎球河辙滞数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 根据定义，展开H(X) 和H(X|Y) 容易得到： 互信息I (X; Y) 是在知道了Y 的值后X 的不确定性的减少量。即，Y 的值透露了多少关于X的信息量。 殉垛框绦乍影急张廓轨里瓦吼窑桔漳竖搪欺拇漳鼓脚氯阵叼腊病孪琳总方数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 互信息、条件熵与联合熵 敌拿轮验皮窑橇简克此茅滋逾应伏负给癸萤置泵好迹阔分对其笑泞麻碎琴数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 相对熵(relative entropy） 相对熵(relative entropy）或Kullback-Leibler divergence，KL 距离) 两个概率分布p(x) 和q(x) 的相对熵定义为： 该定义中约定0 log (0/q) = 0, p log (p/0) = ∞ 凶堰次缀逆垃汹夫魂于相涛床捡炔撕芜配锋扳求鳖尖棍掩悯狱携伊气翻示数学基础,概率论,矩阵分析课件数学基础,概率论,矩阵分析课件 相对熵示意图 悲疆餐试尾摈婶非张薄屉侩移佯法乃稿席京衣狰粹阵凝动诅催雀卧贿蕊锯数学基础,概率论,矩阵分析课件数