中南大学信息论与编码Inf_T_C_1.3N.ppt

  1. 1、本文档共40页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
中南大学信息论与编码Inf_T_C_1.3N

信息论与编码;;;什么是信源 信源就是信息的来源,是产生消息、消息序列以及连续消息的来源。 信源可以是人、机器、自然界的物体等等。信源发出信息的时候,一般以某种方式的消息表现出来,可以是符号,如文字、语言等,也可以是如图像、声响等等。 ;信源的分类 连续信源:发出在时间上或幅度上都是连续分布的连续消息的信源 (1)时间连续,幅度离散 (2)时间离散,幅度连续 (3)时间连续,幅度连续 离散信源:发出在时间上和幅度上都是离散分布的离散消息的信源 ;信源的分类 无记忆信源:信源不同时刻发出的消息之间互不干扰、互相独立 有记忆信源:信源不同时刻发出的消息相互依赖;信源的分类 单符号信源:信源每次只发出一个符号代表一个消息 多符号信源:信源每次发出一组含两个以上符号的符号序列代表一个消息 ;信源的分类 结合单符号与多符号、无记忆和有记忆的离散信源,有四种: (1)发出单个符号的无记忆离散信源; (2)发出符号序列的无记忆离散信源; (3)发出单个符号的有记忆离散信源; (4)发出符号序列的有记忆离散信源。;信源的状态空间 信源的可能取值的集合。 对单符号离散信源而言,是所有可能输出的单个符号的消息的集合。 可用符号集合A = {a1, a2 ,…, aq}来表示,取值是有限或可数的。 更常见的是用数学中一维离散型随机变量X来表示。;信源的数学模型;信源的数学模型;练习;;信息的度量问题 信源发出某一消息后,它到底能提供多少信息量? 对单符号离散信源,信源发出某个符号,此符号能带来多少信息量? 香农的第三个论点“不确定性论” 香农说:在通信中,收信者所获取的信息量,在数量上等于通信前后不确定性的消除(减少)的量。 信息量 = 通信前的不确定性 – 通信后的不确定性 信息就是用来消除不确定性的东西!这为我们度量信息指明了方向! 比如:老师讲述某题目的解法,有的学生可能听完就全会了。有的学生可能由于听音乐、讲小话、开小差、玩手机,导致听得似懂非懂。 ;有噪声情况 信源发某一符号ai,信道中有随机噪声干扰,收信者收到的是ai的某种变型bi。收信者从bi??获取关于ai的信息量,以I(ai;bi)表示。 I(ai;bi) = 收到bi前,收信者对ai存在的不确定性 — 收到bi后,收信者对ai仍然存在的不确定性 无噪声情况 假定无噪声。有bi=ai,那么收到bi后,对ai仍存在的不确定性为0,则I(ai;bi) 表示为I(ai;ai) ,并且简化的记作I(ai) 。 I(ai) = 收到ai前,收信者对ai存在的不确定性 — 收到ai后,收信者对ai仍然存在的不确定性(0) = 收到ai前,收信者对信源发ai的不确定性。 我们称I(ai)为信源符号ai的“自信息量” ,也就是ai本身所含有的全部信息量,或者说收到ai获得的全部信息量。;自信量I(ai)两种含义: (1)收到ai前,收信者对信源发ai的不确定性 (2)收到ai后,ai提供的所有信息量自信量 自信量与概率公式 信源是以一定先验概率来发送ai的。 “到ai前,收信者对信源发ai的不确定性”就可以表述为“信源发送符号ai的不确定性”。 不确定性和可能性(概率)有关系的,所以自信息量I(ai)一定可以表达为信源发符号ai的先验概率p(ai)的某一函数 ;I (ai) = f [ p(ai) ] 的推理 (1)小概率事件,不确定性大,一旦出现必然使人感到意外,因而产生的信息量就大;大概率事件,不确定性小,因而信息量小。 ;I (ai) = f [ p(ai) ] 的推理 (2)由(1)可以得到 I (ai) 与 p(ai) 成反比,也就是单调递减 (3)分析一下极值情况 今天太阳照常从东边升起 今天太阳从西边升起来了!!!;自信量的度量公式 从前面的推理,香农得到了自信量的度量公式 自信量的度量公式的单位 自信息量的单位取决于对数的底; 底为2,单位为“比特(bit, binary unit)”; 底为e,单位为“奈特(nat, nature unit)”; 底为10,单位为“哈特(hat, Hartley)”; 根据换底公式得:1 nat = 1.44bit , 1 hat = 3.32 bit; 一般计算都采用以“2”为底的对数,为了书写简洁,常把底数“2”略去不写。 ;自信息量的特性 1      2     3 非负性; 4 单调递减性; 5 可加性。 关于可加性 两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和,即自信息满足可加性。 ;练习;练习;;自信量I(a)使信息度量成为可能,但I(a)有局限 I(a)只能表示具体符号a所提供的信息量,不能反映信源的总体信息量,因为信源可以发出多个不同的符号,X={ai; i=1…n},并且信源发出不同的符号是有不

文档评论(0)

yan698698 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档