信息论与编码习题参考的答案.docVIP

第二章习题参考答案 2-1 解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。 (1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p(A)=(1/36)*2=1/18 故事件A的自信息量为 I(A)=－log2p(A)=log218=4.17 bit (2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发生的概率为p(B)=1/36 故事件B的自信息量为 I(B)=－log2p(B)=log236=5.17 bit (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 因为各种组合无序，所以共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布： (5)“两个点数中至少有一个是1”的组合数共有11种。 2-2 解：(1)红色球x1和白色球x2的概率分布为 (2)红色球x1和白色球x2的概率分布为 (3)四种球的概率分布为 ， 2-5 解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。 (1)设“面朝上点数之和为3”是事件A，点数之和为3的有两种(1+2，2+1)，故有p(A)=2*(1/36)=1/18 I(A)=－log2p(A)=4.17 比特 (2)设“面朝上点数之和为7”是事件B，点数之和为7的有6种(1+6，2+5，3+4，4+3，5+2，6+1)，故有p(B)=6*(1/36)=1/6 I(A)=－log2p(B)=2.582-9 解：设第一次摸出的是黑球的事件为x1，第一次摸出的是白球的事件为x2，第二次摸出的是黑球的事件为y1，第二次摸出的是白球的事件为y2。 (1)若摸出的球为黑球，则 若摸出的球为白球，则 ∴ (2)若第二次实验摸出的是黑球，则 若第二次实验摸出的是白球，则 ∴ (3)若第二次实验摸出的是黑球，则 若第二次实验摸出的是白球，则 ∴ (4) 又， ∴ 2-14 解：设x0—0，x1—1，y0—0，y1—1，则由已知得，，， ∴， 由全概率公式得 ， 由贝叶斯公式得 由得 (2) 2-20 解：(1) (2) (3)因为是均匀分布，[a,b]不同，导致概率密度函数不同，所以信源熵不同。 2-27 解：(1)由符号条件概率得如下状态转移图 由状态转移图得状态转移概率矩阵 由得 2-33 解：(1)其中 (2) 当p=0或p=1时H(X)=0。 必然事件和完全不可能事件的熵均为0，不包含任何信息。 第三章习题参考答案 3-1 解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。 其中C1,C2,C3,C6都是唯一可译码。 对C4：，满足该不等式； 利用码树：10在叶子结点上，所以C4不是唯一可译码。 对C5：，不满足该不等式。所以C5不是唯一可译码。 (2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。 其中C1,C3,C6都是即时码。 对C2：“0”是“01”的前缀，……，所以C2不是即时码。 由平均码长得 3-7 解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, ···, i, ···；对应的编码分别为：0, 10, 110, ···, 111…110 ( i – 1个1), ···。 (2) 先求熵和平均码长，二者的比值即信息传输速率 (3)编码效率：( = 1 =100% 3-11 解：(1) (2)香农编码如下表所示： 符号xi 符号p(xi) 累加Pi -log2p(xi) 码长ki 码字 x1 0.32 0 1.63 2 00 x2 0.22 0.32 2.17 3 010 x3 0.18 0.54 2.46 3 100 x4 0.16 0.72 2.63 3 101 x5 0.08 0.88 3.62 4 1110 x6 0.04 0.96 4.61 5 11110 3-12 解：(1) R=H(X)=2.56 bit/s 第四章习题参考答案 4-2 解：