信息论——基础理论与应用（第5版）-习题及答案 第5章 无失真信源编码定理.pdfVIP

第5章无失真信源编码定理 一、简答题 5.1 解： (1)该信源的信源熵为 H(S)=-Zp(s)logp(s,)=0.811比特/符号 自信息的方差为 D[I(s)]=E[T(s)]-H2(S) — 3. 4 + log log24-0.81P2 4 34 =0.4715 根据等长码编码定理，我们知道 PT(a,) -H(S)≤1-8 {N 28 根据给定条件可知，e=0.05,δ=0.99,而 Dl(s)] δ= Ne 因此 0.4715 Dl/(s) N.2 = =190.5 e0.052*0.99 取N。=191。 (2)e典型序列中信源序列个数取值范围为： (1-5)25)4|G25 代入上述数值得 0.01×2{G|2 5.2略 5.3略 5.4略 5.5略 5.6略 5.7略 5.8略 5.9略 5.10 解： 如果不通过编码，即信道的两个码符号对应两个信源符号，而信道传输码符 号的速度小于信源发出信源符号的速度，因此势必会造成信源符号的堆积，因此 不通过编码是无法将信源与信道直接连接。 信源平均每秒发出的信息量为 2.66*H(S)=-2.66*ZP()lg P(s)=1.921比特/秒 而该信道的信道容量为1比特/符号，平均每秒能够传输的最大信息量为2比特， 因此通过编码可以实现二者的连接。 若要连接，需要对扩展信源的信源符号进行编码，目的是使送入信道的信息 量小于信道每秒能接收的最大信息量(或使每秒钟编码后送入信道的码符号个数 必须小于信道所能接受的最大码符号个数),具体编码方法将在第八章进行。 5.11 解： (1)该码是非延长码，因此肯定是惟一可译码； (2)由于信源本身是无记忆的，因此各信源符号的概率如下表所示。 信源符号序列 概率 中间码 二元码字 0.1 50 1000 01 0.09 5 1001 001 0.081 1010 00010.0729 1011 000010.065614 1100 0000010.059049 1101 5 0531441 1110 000000010 II1I 000000000 0 5 因此信源序列的平均长度为