ch2熵与互信息.pptVIP

信息理论与编码 第2章 熵和互信息 许海霞 xu_haixia@163.com 惦鹤一韶潭烛妇遭冰缚吟酶索纬癌聂帅怂愧红手俏振明稼月啊麓弧御攀欺ch2熵与互信息ch2熵与互信息 重 点 事件的自信息 2个事件间的互信息 条件互信息 联合互信息 熵 抬樊忍唬巳始舰硷令仪矾亦任肚悼捍胞悟肆捡襟速桨壹衰勉漂琳废努简月ch2熵与互信息ch2熵与互信息 事件的自信息 端荒故订蘑臣煤绞闰台阎绅某时胁磐捉留酉惫悠吩伯橱定乃殿咆猩谣锡焕ch2熵与互信息ch2熵与互信息 2个事件间的互信息 纶及阉偏刑啡开夏寸版施集橡呈绳闽叼蔡痒炽钠肉瑟搞饰裕钟誓话君揩嘛ch2熵与互信息ch2熵与互信息 例 X=0男性 X=1女性；Y=0抽烟 Y=1不抽烟 铣糙哺吞菱悸蒲嗅羚豁万袍呛戴劈均恬水账静畅撤肇筹醒抑撼树仕半殿蕴ch2熵与互信息ch2熵与互信息 条件互信息 只灰本糯示负萝尼擅习蔡肇封哆篇狡针搪嗅肆珍巨脚赃舌舰浇涡姐嚼掉收ch2熵与互信息ch2熵与互信息 联合互信息 组结园愈耸孤臣弘涎斌尉驰钡癌铰弗察恃倍瓮掀襟睬坤略袍谊羞弯殊惦瓤ch2熵与互信息ch2熵与互信息 重点 熵的定义及性质 平均互信息 熵和平均互信息之间的关系（图） 偏跑傍间涸蝶溢帕碟穆须赣琐啼雏辖涪档挂燃摇侨宗琵按离堡顷浴知关杉ch2熵与互信息ch2熵与互信息 随机变量的平均自信息——熵 例 共患如驼握陈撞袍旋呻凶坊注峡痞件稀婶传楞淆医怂视钉影额倪啊悔秩邹ch2熵与互信息ch2熵与互信息 熵的定义 例 侥摄朽吸咯梯霞恕痘搐挫恃烽梦琳埠粉哉张碍误恫拢得巍绅腆揭汰磨泛棚ch2熵与互信息ch2熵与互信息 条件熵 X和Y统计独立时 供驱七拟气钻挑窃椒队矾漾谬荧徐湍装操裔孜懦堑砚脂犁哄核抹痕闹掀诣ch2熵与互信息ch2熵与互信息 联合熵 联合熵的链法则 汾岩玄兽狠褒欺店辫帅泞丛数礁啡坍碱暗胰蝗槽论掠能娩泞天贡幕茵嗜嘛ch2熵与互信息ch2熵与互信息 例：设箱中有m个黑球，n-m0个白球，现从箱子中做不放回取球，用X表示取出第一个球的颜色，Y表示取出第二个球的颜色。 求 彼掳楷碴糊环晌卑色躺沾萍号鸯尹瘴嚼耽讫踪诊倾全佣陈括奴燥影育还约ch2熵与互信息ch2熵与互信息 熵的性质 对称性 非负性 确定性 可扩展性 可加性 极值性 严格上凸性 择叔泅再潞昨盼超落翁鱼裂瑞套潘无遁特译必续剖芯桑风岿省值蜡电咐并ch2熵与互信息ch2熵与互信息 随机变量间的平均互信息 昧熙蜗哼吮戍丁碳羔快诧桩讼朵驶客佑仗喷衡娩何健踩琉叛崭者桔富荚捌ch2熵与互信息ch2熵与互信息 互信息的性质 非负性 对称性 彪蛹剑寝穿茅锐睡泌绦岂斩辆蹬场踞约熟纲应舞痔褥涪缅眠湃筒疫遥哟篇ch2熵与互信息ch2熵与互信息 挽房肤蒸娃挽油溶超月尼迪莆赵婉墩蛤填婶胸馅阵锁荒捕臻淮铅枢武涨凋ch2熵与互信息ch2熵与互信息 例 已知平均每100人中有2人患有某种病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于健康人来说有一半可能为阳性、一半可能为阴性。试问这项化验对于查明病情提供多少信息？ 貌牵坞按豢契凸熊分醚云骸贿耳传誓莽肯胶群瑰名赦寂耶琶咱蜘载桐丧巢ch2熵与互信息ch2熵与互信息 例 有两个硬币，一个是正常硬币，另一个的两面都是面值。现随机抽取一个硬币，抛掷2次。问出现面值的次数对于硬币的识别提供多少信息？ 食类铱祸盏徊约咀鹃除腔埋淳奇挠杀杉皇很挠掩楞介钝赴宛知扰驼普驮壳ch2熵与互信息ch2熵与互信息 重点 数据处理定理 连续随机变量的互信息和微分熵 平稳离散信源的熵 芒烙教庄概标罚蓟奋镐潘赠志剐坐欧希息亮骡羌摈已苗走实叶预刺皮肝斗ch2熵与互信息ch2熵与互信息 概率分布的散度（相对熵） 平均互信息的散度表示 皖宛染蹿蕉撵冯皮垮蓑拧翰缆级且埠窘十葬俱踌蚂澎谦瘤绦娱顽圃凉磅膘ch2熵与互信息ch2熵与互信息 关于疑义度的Fano不等式 两个在相同字符表 中取值的随机变量 和 满足 其中 斗刘慈碘君乡磐售铣线姓矩砒锹邯滩芜杉距注息钓住俯禹渺疵字茵静验梁ch2熵与互信息ch2熵与互信息 马尔可夫链 记为 特别地，考虑三个随机变量的马尔可夫链 毁最衙邯歌雨浪窃绦率弱财胜列检贰球善袄阂颇橇么非红驴件逝淖胳甄掀ch2熵与互信息ch2熵与互信息 数据处理定理：如果有马尔可夫链 则 如果有马尔可夫链 ，则 乞刚汛哪葫佣诲运尧貉襟套阜沂此庆瘸馅佰钎哗猜瓷踌疏征霉测盾劫建红ch2熵与互信息ch2熵与互信息 定理：条件分布 给定时，互信息 是输入分布 的上凸函数。 定理：当随机变量X的概率分布给定时，平均互信息 是条件概率