信息论与编码傅祖芸 赵建中 课后答案.docVIP

第二章课后习题 【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？ 解：从信息论的角度看， 1 ；???P”该事件发生的概率为 “12 枚硬币中，某一枚为假币 12 1 ；???“假币的重量比真的轻，或重”该事件发生的概率为 P 2 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因 此有 I?? log12?? log 2?? log 24 比特 1 ，因此天 ??? P而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 3 log 3 比特平每一次消除的不确定性为 I?? 因此，必须称的次数为 log 24 1 I 次? 2.9 log 3 2 I 3 次。因此，至少需称 4 【延伸】如何测量？分 3 堆，每堆 枚，经过 3 次测量能否测出哪一枚为假币。 面朝上点数之“ 两骰子面朝上点数之和为2”或2.2【】同时扔一对均匀的骰子，当得知“ 时，试问这三种情况分别获得多少信息量？”3 或和为 8”“两骰子面朝上点数是 和 4 解： ，由于二者是独立的，”2有一种可能，即两骰子的点数各为 1 “两骰子总点数之和为 1 1 1 ，该事件的信息量为：?????因此该种情况发生的概率为 P 6 6 36 I?? log 36?? 5.17 比特 2，概6 和 4、5 和 3、3 ”共有如下可能：2 和 6、和 5、4 和 8“两骰子总点数之和为 5 1 1 ?????? 5 ，因此该事件的信息量为：??? P率为 36 6 6 36 log I?? ? 2.85 比特5 ?????? 21 1 1 ，???，概率为 P、44 和 3 “两骰子面朝上点数是 3 和4”的可能性有两种：3 和 18 6 6 因此该事件的信息量为： 比特I?? log18?? 4.17 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？ 解： 如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为 1 ，因此此时从答案中获得的信息量为???P 7 I?? log 7?? 2.807 比特 ，此时获得而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1 0 比特。 的信息量为 米以上的，是身高75% 1.6 25%【2.4】居住某地区的女孩中有 是大学生，在女大学生中有 1.6 米以上的占总数一半。假如我们得知而女孩中身高 1.6 “身高 米以上的某女孩是大学 ”生的消息，问获得多少信息量？ 解： A表示女孩是大学生，A P() 0.25 ；?? 设 0.5 P米以上， B 表示女孩身高1.6 (??) BP ，??) A B | 0.75 ( 的发生概率为”米以上的某女孩是大学生1.6 身高“ 0. 75 0. 25??) BP( A) P() P( AB | A?(P A | B?)??? 0.375 ) B BP() P(0.5 已知该事件所能获得的信息量为 1 ? 1.415 ?? log 比特 I 0.375 ? X????a1?? 0 a2?? 1 a3?? 2 a4?? 3?? ，其发出的消息为???记 忆 信 源无】【 2.5 设 离 散 3 / 8 ?????1/ 4 1 / 4 1/ 8?????????P( x) （202120130213001203210110321010021032011223210），求 （1） 此消息的自信息是多少？ （2） 在此消息中平均每个符号携带的信息量是多少？ 解： 信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为： 8 ? 1.415 比特 I (a0?? 0)?? log 3 I (a1?? 1)?? log