信息论与编码试卷C(参考的答案).docVIP

一、（10分）设信源发出两个消息 x1和 x2，它们的概率分别为p（x1）=3/4，p（x2）=1/4。求该信源的熵和冗余度。 解： （1）由信源的熵的计算公式有H（X）=0.81比特。 （2）最大熵出现在等概率情况，这时的熵为1比特。 冗余度为19%。 （1）由信源的熵的计算公式有H（X）=H（）=0.81比特/信源符号。 （2）最大熵出现在等概率情况，即p（x1）=p（x2）=1/2，这时的熵为H（）=1比特。 （3）冗余度为。 二、（15分）已知一个信源包含八个符号消息,它们的概率分布如下表, 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 进行费诺编码并计算信源熵、平均码长以及编码效率。 解： （1）对应的码字分别为00，01，100，101，1100，1101，1110，1111。 （2）信源熵H（S）=2.75比特/信源符号。 （3）平均码长L=2.75码元/信源符号。 （4） 编码效率为1。 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 进行费诺编码并计算信源熵、平均码长以及编码效率。 解： （1）费诺编码如下： Si P（Si） 编码过程 码字Wi 码长Li S1 1/4 0 0 00 2 S2 1/4 1 01 2 S3 1/8 1 0 0 100 3 S4 1/8 1 101 3 S5 1/16 1 0 0 1100 4 S6 1/16 1 1101 4 S7 1/16 1 0 1110 4 S8 1/16 1 1111 4 （2）信源熵㏒=2.75（比特/信源符号）。 （3）平均码长（码元/信源符号）。 （4） 编码效率为。 三、（15分）以下以码字集合的形式给出2种不同的编码，第一个码的码符号集合为{x，y，z}，第二个码为二进制编码, {xx，xz，y，zz，xyz}；{01，100，011,00,111,1010，1011，1101}，对上面列出的编码分别回答下述问题： (1)此码码长是否满足Kraft-McMillan不等式? (2)此码是否是即时码?如果不是，请给出反例。 (3)此码是否是唯一可译码？如果不是，请给出反例。 解：(1)此码不满足克劳夫特不等式：； (2) 因为此码不满足克劳夫特不等式，此码不是即时码； (3) 因为此码不满足克劳夫特不等式，此码不是唯一可译码。反例：01100序列就可以有两种译法：011，00或01，100，所以不是唯一可译码。 四、（10分）（1）陈述香农狭义信息论解决了哪几个问题？ （2）请详细阐述香农信息论的三个编码定理。 解：（1） 解决了信息的度量问题，给出了其计算表达式。 （2）香农第一编码定理就是无失真变长信源编码定理。 香农第二编码定理即为有噪信道编码定理。当待传的信息率少于信道容量（R〈C）时，只要码长n足够长，则总存在一种编码可以使译码错误概率任意小。 香农第三编码定理即为限失真信源编码定理。 五、（15分）有二进制对称信道 p=0.01 =0.99 (1) 采用最大似然译码准则确定译码函数, (2) 求出最小平均错误译码概率。 (3) 对该信道进行扩展,采用简单重复编码，000,111, 采用最大似然译码准则确定译码规则。 (4) 求出扩展后的最小平均错误译码概率。 (5) 求出扩展后的信道传输率 六、（15分）设线性分组码的生成矩阵为求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字（2）求其对应的一致校验矩阵H（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式（4）若接收码字为000110，用伴随式法求译码结果。 列号 行号 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0 12 1 10 15 9 2 6 8 0 13 3 4 14 7 5 11 1 10 15 4 2 7 12 9 5 6 1 13 14 0 11 3 8 2 9 14 15 5 2 8 12 3 7 0 4 10 1 13 11 6 3 4 3 2 12 9 5 15 10 11 14 1 7 6 0 8 13 假设输入S盒的输入矢量为，试求通过选择压缩函数S变换后的输出矢量。 八、（10分）用公开密钥(e,n)=(3,55)将报文BID HIGH用01=A，02=B，…，进行加密。 第 4 页 共 5 页 第 1 页 共 5 页