试问四进制八进制脉冲所含信息量是二进制脉冲的多少倍-Read.DOCVIP

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 八进制脉冲的平均信息量 二进制脉冲的平均信息量 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.6 设信源，求这个信源的熵，并解释为什么H(X) log6不满足信源熵的极值性。 解： 不满足极值性的原因是 2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解： (1) (2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： (5) 3、设有一离散无记忆信源，其概率空间为 （1）求每个符号的自信息量 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解： 同理可以求得 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有： 平均每个符号携带的信息量为bit/符号 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是： 此消息的信息量是： 5.1 设信源 (1) 求信源熵H(X)； (2) 编二进制香农码； (3) 计算平均码长和编码效率。 解： (1) (2) xi p(xi) pa(xi) ki 码字 x1 0.2 0 3 000 x2 0.19 0.2 3 001 x3 0.18 0.39 3 011 x4 0.17 0.57 3 100 x5 0.15 0.74 3 101 x6 0.1 0.89 4 1110 x7 0.01 0.99 7 1111110 (3) 5.2 对信源编二进制费诺码，计算编码效率。 解： xi p(xi) 编码 码字 ki x1 0.2 0 0 　 　 00 2 x2 0.19 1 0 　 010 3 x3 0.18 1 　 011 3 x4 0.17 1 0 　 　 10 2 x5 0.15 1 0 　 110 3 x6 0.1 1 0 1110 4 x7 0.01 1 1111 4 5.3 对信源编二进制哈夫曼码，计算平均码长和编码效率。 解： 二进制哈夫曼码： xi p(xi) 编码 码字 ki s6 1 s5 0.61 0 s4 0.39 1 s3 0.35 0 s2 0.26 1 x1 0.2 0 10 2 x2 0.19 1 11 2 x3 0.18 0 000 3 x4 0.17 1 001 3 x5 0.15 0 010 3 s1 0.11 1 x6 0.1 0 0110 4 x7 0.01 1 0111 4 5.4 设信源 (1) 求信源熵H(X)； (2) 编二进制香农码和二进制费诺码； (3) 计算二进制香农码和二进制费诺码的平均码长和编码效率； 解： (1) (2) 二进制香农码： xi p(xi) pa(xi) ki 码字 x1 0.5 0 1 0 x2 0.25 0.5 2 10 x3 0.125 0.75 3 110 x4 0.0625 0.875 4 1110 x5 0.03125 0.9375 5 11110 x6 0.015625 0.96875 6 111110 x7 0.0078125 0.984375 7 1111110 x8 0.0078125 0.9921875 7 111