信息论复习资料..docx

基本概念考试题型：填空30判断30名词解释4*5计算3道20分第一章自信息和互信息P6 公式信道P9 概念第二章离散平稳信源P18概念离散无记忆信源P19概念时齐马尔可夫信源P20概念自信息P22概念信息熵P25概念信息熵的基本性质P28对称性确定性非负性扩展性可加性强可加性递增性极值性上凸性联合熵条件熵P42公式P43例题马尔克夫信源P54公式P55例题信源剩余度P58熵的相对率信源剩余度P58课后作业：2、4、13、21、22第三章有记忆信道P73概念二元对称信道BSCP74前向概率、后向概率、先验概率、后验概率P76条件熵信道疑义度、平均互信息P77平均互信息、联合熵、信道疑义度、噪声熵计算公式P78损失熵噪声熵P79平均互信息的特性P82非负性极值性交互性凸状性信息传输率RP86无噪无损信道P87概念有噪无损信道P88概念对称离散信道P89概念对称离散信道的信道容量P90公式强对称信道信道容量P91公式离散无记忆信道DMCP105独立并联信道及其信道容量P110数据处理定理P113定理信道剩余度P118公式课后作业：1、3、9第五章编码：实质上是对信源的原始符号按一定的数学规则进行的一种变换。等长码P172概念等长信源编码定理P178编码效率P180克拉夫特不等式P184香农第一定理P191码的剩余度P194第六章最大后验概率准则最小错误概率准则P200最大似然译码准则P201费诺不等式P202信息传输率（码率）P205香农第二定理P215课后习题3、第八章霍夫曼码最佳码P273费诺码P279课后习题11、第八章编码原则译码原则P307定理9.1P313分组码的码率P314公式课后习题3、填空题在现代通信系统中，信源编码主要用于解决信息传输中的 有效性 ，信道编码主要用于解决信息传输中的 可靠性 ，加密编码主要用于解决信息传输中的 安全性。采用m进制编码的码字长度为Ki，码字个数为n，则克劳夫特不等式为， 它是判断 唯一可译码存在 的充要条件。差错控制的基本方式大致可以分为 前向纠错、 反馈重发 和 混合纠错 。如果所有码字都配置在二进制码树的叶节点，则该码字为 唯一可译码 。某离散无记忆信源X，其符号个数为n，则当信源符号呈 等概_____分布情况下，信源熵取最大值___log（n） 。信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。三进制信源的最小熵为0，最大熵为bit/符号。无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。当R=C或（信道剩余度为0）时，信源与信道达到匹配。根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。连续信源的绝对熵为 无穷大。（或） 离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1。无记忆信源是指 信源先后发生的符号彼此统计独立。离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率)。为了提高系统的有效性可以采用 信源编码，为了提高系统的可靠性可以采用 信道编码。八进制信源的最小熵为 0，最大熵为 3bit/符号。即时码是指 任一码字都不是其它码字的前缀。一个事件发生的概率为0.125，则自信息量为 3bit/符号。信源的剩余度主要来自两个方面，一是 信源符号间的相关性，二是 信源符号概率分布的不均匀性。m阶马尔可夫信源的记忆长度为 m+1，信源可以有 qm 个不同的状态。同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85比特。判断题信息就是一种消息。 （ ）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。 （ ）概率大的事件自信息量大。 （ ）互信息量可正、可负亦可为零。 （ ）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（ ） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ ） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ）信源变长编码的核心问题是寻找紧致码