信息论与编码复习题目2016.docxVIP

信息论复习提纲绪论通信系统模型；香浓信息的概念；信源、信道、信源编码和信道编码研究的核心问题。离散信源及信源熵离散信息量、联合信息量、条件信息量、互信息量定义；信源熵、条件熵、联合熵定义；平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；最大信源熵定理及证明；本章所有讲过的例题；离散信源的信源编码信息传输速率、编码效率定义；最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；码组为即时码的充要条件；单义可译定理（Kraft不等式）及应用；费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；本章所有讲过的例题；离散信道容量利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；本章讲过的例题；连续消息和连续信道相对熵的定义；均匀分布、高斯分布、指数分布的相对熵及证明；峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；香农公式及意义；本章所有讲过的例题；差错控制重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；最小距离与检错、纠错的关系（即6.3节定理）；本章所有讲过的例题；线性分组码线性分组码定义；线性分组码的最小距离与最小重量的关系及证明；生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；制作标准阵列并利用标准阵列译码；本章所有讲过的例题；循环码生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3．本章所有讲过的例题；习题：已知随机变量X和Y的联合分布如下：0101/83/813/81/8计算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)、I(X;Y)。具有归并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时信源的概率分布。信道矩阵[P]=，计算[P]代表的信道的信道容量。设二元对称信道的传递矩阵为(1) 若；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。5.设有信源对该信源编二进制费诺；计算其平均码长。6.设有信源对该信源编二进制霍夫曼码，计算其平均码长；对该信源编三进制霍夫曼码，计算其平均码长；对该信源编四进制霍夫曼码，计算其平均码长；7. 设有一个无记忆信源发出符号A和B，已知p(A) = 1/4, p(B) = 3/4。（1）计算该信源熵；（2）该信源改为发出二重符号序列消息的信源，采用费诺编码，求其平均信息传输速率；（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。8.设一个[7,4]码的生成矩阵为求出该码的全部码字；求出该码的一致校验矩阵；(3) 作出该码的标准译码码表。9.设二元线性码L的生成矩阵为，建立码L的标准阵并且对字11111和10000分别进行译码。10. 令是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；11.给定X的概率密度函数为拉普拉斯分布，求相对熵Hc(X)。2014年《信息论与编码》研究生考试试题注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回．姓名：叙述题（5分×4＝20分）1．写出香农公式，并解释其意义．2．叙述平均码长界定定理．3．叙述香农第一定理．4．分别叙述峰值功率受限和平均功率受限条件下的最大熵定理．计算题（共70分）１．（10分）设信源，求这个信源的熵，并解释为什么H(X) log6，不满足最大熵定理．2. （10分）利用最大后验概率译码准则，给出译码方案，并计算错误传输概率.信源的概率空间为，信道矩阵为．3．（15分）信源概率空间为，分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码．4．（20分）线性分组码的生成矩阵．（1）写出一致校验矩阵．（2）给出所有码字．（3）给出标准阵列表．（4）如果接收，，，给出译码．5．（15分）令是 (15, 5)循环码的生成多项式，写出生成矩阵G和一致校验矩阵H的标准形式．证明题（共10分）证明：线性分组码构成维线性空间的维子空间．