信息论答案52524new.docVIP

3.1 设信源通过一干扰信道，接收符号为Y = { b1, b2 }，信道转移矩阵为，求： (1) 信源X中事件a1和事件a2分别包含的自信息量； (2) 收到消息bj (j=1,2)后，获得的关于ai (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。 解： 1) 2) 3) 4) 5 3.2 设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 2) 3.6 有一个二元对称信道，其信道矩阵为。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？ 解： 信道容量计算如下： 也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是： 现在需要传送的符号序列有14000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是 要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。 3.7(4) 准对称信道 把信道矩阵分解成三个子矩阵如下： 33.8 已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？ 解： 3.12证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元素。 证明： [P]每列有一个且只有一个非零元素 =〉 H(X/Y) = 0 取[P]的第j列，设而其他 3.14 试求以下各信道矩阵代表的信道的容量： (1) [P] = (2) [P] = (3) [P] = 解： 1) 这个信道是一一对应的无干扰信道 2) 这个信道是归并的无干扰信道 3) 这个信道是扩展的无干扰信道 3.18 设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/噪声功率}=10dB。试计算该信道的最大信息传输速率Ct。 解： 4.1 一个四元对称信源，接收符号Y = {0, 1, 2, 3}，其失真矩阵为，求Dmax和Dmin及信源的R(D)函数，并画出其曲线（取4至5个点）。 解： 因为n元等概信源率失真函数： 其中a = 1, n = 4, 所以率失真函数为： 函数曲线： 其中： 4.3 某二元信源其失真矩阵为求这信源的Dmax和Dmin和R(D)函数。 解： 因为二元等概信源率失真函数： 其中n = 2, 所以率失真函数为： 4.10设离散无记忆信源其失真度为汉明失真度。 (1) 求Dmin和R(Dmin)，并写出相应试验信道的信道矩阵； (2) 求Dmax和R(Dmax)，并写出相应试验信道的信道矩阵； (3) 若允许平均失真度D = 1/3，试问信源的每一个信源符号平均最少有几个二进制符号表示？ 解： 当D=1/3时 4.11 设信源（p 0.5），其失真度为汉明失真度，试问当允许平均失真度D = 0.5p时，每一信源符号平均最少需要几个二进制符号表示？ 解： 因为二元信源率失真函数： 其中a = 1（汉明失真）, 所以二元信源率失真函数为： 当时 5.1 设信源 (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) (2) ai p(ai) pa(ai) ki 码字 a1 0.2 0 3 000 a2 0.19 0.2 3 001 a3 0.18 0.39 3 011 a4 0.17 0.57 3 100 a5 0.15 0.74 3 101 a6 0.1 0.89 4 1110 a7 0.01 0.99 7 1111110 (3) 5.2 对信源编二进制费诺码，计算编码效率。 解： ai p(ai) 编码 码字 ki a1 0.2 0 0 　 　 00 2 a2 0.19 1 0 　 010 3 a3 0.18 1 　 011 3 a4 0.17 1 0 　 　 10 2 a5 0.15 1 0 　 110 3 a6 0.1 1 0 1110 4 a7 0.0