(完整版)老师整理的信息论知识点 .pdfVIP

下载本文档

34
0
约1.99万字
约 12页
2020-12-01 发布于河北
举报
版权申诉

(完整版)老师整理的信息论知识点 .pdf

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

Chp02 知识点：自信息量： 1） I (x ) log p(x ) i i 2 ）对数采用的底不同，自信息量的单位不同。 2 比特（bit ）、e 奈特（nat）、10 哈特（Hart ） 3）物理意义：事件 xi 发生以前，表示事件 xi 发生的不确定性的大小；事件 xi 发生以后，表示事件 xi 所含有或所能提供的信息量。平均自信息量（信息熵）： q 1） H (x) E[ I (x )] p(x ) log p(x ) i i i i 1 2 ）对数采用的底不同，平均自信息量的单位不同。 2 比特/ 符号、 e奈特 /符号、 10 哈特 /符号。 3 ）物理意义：对信源的整体的不确定性的统计描述。表示信源输出前，信源的平均不确定性；信源输出后每个消息或符号所提供的平均信息量。 4 ）信息熵的基本性质：对称性、确定性、非负性、扩展性、连续性、递推性、极值性、上凸性。互信息： p(x | y ) 1） I ( x ; y ) I (x ) I (x | y ) log i j i j i i j p(x ) i 2 ）含义：已知事件 y j 后所消除的关于事件 xi 的不确定性，对信息的传递起到了定量表示。平均互信息： 1）定义： 2 ）性质：联合熵和条件熵：各类熵之间的关系：数据处理定理： Chp03 知识点：依据不同标准信源的分类：离散单符号信源： X a a L a 1 2 r 1）概率空间表示： P p a1 p a2 L p ar r 0 p ai 1,(i 1,2,L , r ); p ai 1 i 1 q