[2018年必威体育精装版整理]2014_ITandCoding_复习(Reduced).ppt

《信息论与编码》的考试说明 1. 选择题，5题，10分； 2. 填空题，10空，20分； 3. 判断题，10题，10分； 4. 简答题，2题，10分； 5. 计算题，5题，50分。 最终的成绩构成： 70%期末试卷， 30%平时成绩。 注意：做题时不要忘记单位，考试带上计算器 答疑时间： 地点：物理实验大楼北311房间 《信息论与编码》的复习与回顾 主要内容 1. 信息的基本概念(Chap1、2) 2. 结合信息的基本概念讨论通信中的三类问题： 有效性的问题，信源编码的内容(Chap4、5) 可靠性的问题，信道编码的内容(Chap3、6) 必威体育官网网址性的问题，加密编码的内容(Chap7) 信息的基本概念 信息的基本概念 3. 离散信源的情况： 互信息、自信息、条件自信息、联合自信息； 平均互信息、平均自信息； 熵(平均不确定性)、条件熵、联合熵等等。 这些概念相互之间的关系、自信息与平均自信息的区 别(前者是随机量)、平均自信息与信源熵的区别、熵 的性质（比如：非负性、极值性）等等。 信息不增性原理。 4. 连续信源的情况： 连续信源熵的定义； 连续信源熵的性质：相对熵、非绝对熵，不表征信源的平均不确定度。 最大熵定理。 信息的基本概念 5. 离散序列的情况： 离散无记忆信源的序列熵：特定序列的自信息与该类序列的平均自信息之间的差异。 离散有记忆信源的序列熵： 平稳有记忆信源序列 平均每符号熵随着序列长度L的增大而减小。 马尔可夫链：符号转移概率、状态转移矩阵，状态转移图(香农线图)，遍历性(不论起始状态是什么，马氏链可以达到最后稳定，即所有状态的概率分布均不变，这被称作遍历性)，稳态概率的计算，遍历性成立的条件(稳态概率具有唯一性之外，状态转移图具有不可约性与非周期性)，极限熵的计算。 信息的基本概念 马尔可夫链的分析方法： 根据符号的条件概率矩阵或者状态转移概率矩阵画出马尔可夫信源状态转移图； 根据状态转移图判断能否达到稳定（是否满足不可约性和非周期性）； 求出平稳分布W； 求出 H(X/si)； 信息的基本概念 6. 冗余度：表示给定信源在实际发出消息时所包含的多余信息，也称余度或剩余度。 两方面的来源：信源符号间的相关性、信源符号分布的不均匀性，当等概率分布时信源熵最大。 相关的概念：信息效率。 有效性的问题 信源编码的目的：经济有效地表示信源的输出，去掉冗余性——由于信源符号概率分布上的不均匀以及前后符号存在相关性所导致。 1. 无失真信源编码： 有效性的问题 唯一可译码存在的充分与必要条件：各码字的长度Ki 应符合克劳夫特不等式。注意：克劳夫特不等式只是用来说明唯一可译码是否存在，并不能作为唯一可译码的判据。 无失真定长编码定理、无失真定长编码并非不存在译码差错。 变长编码方法的出发点、无失真变长编码定理。 香农编码方法、费诺编码方法、哈夫曼编码方法以及对应编码效率的计算。注意：进行哈夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，以减少再次合并的次数，充分利用短码。 有效性的问题 2. 限失真信源编码： 平均失真和信息率失真函数 R(D) ； 率失真函数R(D)的性质； 限失真信源编码定理； 了解常用的信源编码方法。 有效性的问题 平均失真和信息率失真函数： 平均失真是非负实数d(x , y)的数学期望，失真矩阵； D允许试验信道， 信息率失真函数R(D)的物理意义：对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩到的最小值为R(D) 。反之，若要使信息率小于R(D)，平均失真一定会超过失真限度D。 有效性的问题 R(D)的性质： 定义域(Dmin, Dmax)的确定，各自所对应的率失真函数R(D)，输出符号的概率，编码方法或者转移概率矩阵； 信息率失真R(D)曲线的形态； 率失真函数R(D)与信道容量的对比 限失真信源编码定理(第三极限定理) 了解常用信源编码方法：能够区分无失真编码与有失真编码、分组编码与非分组编码。 可靠性的问题 1. 信道容量的定义： bits/symbol或者bits/channel use，或者Ct=C /T bits/s。 2. 根据定义计算二元单符号信道的容量。 3. 特殊情况下的单符号离散信道容量的计算：对称DMC信道(输入、输出对称，特例BSC信道)，准对称DMC信道(输入对称、输出不对称）尤其是删除信道的情况。通过将转移矩阵划分为子矩阵计算信道容量的方法本考试不要求。 4. AWGN信道的容量计算公式(香农信道容量计算公式)，dB的换算以及该公式的物理含义。 5. 信道的两种差错类型：随机差错、突发差错；提高通信可靠性的途径 6. 信道编、