信息论答案(傅祖芸)..docxVIP

第二章课后习题【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为 P ?? 1 ；12“假币的重量比真的轻，或重”该事件发生的概率为 P ?? 1 ；2为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有I ?? log12 ?? log 2 ?? log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P ?? 1 ，因此天3平每一次消除的不确定性为 I ?? log 3 比特因此，必须称的次数为I1 ?? log 24 ?? 2.9 次I 2log 3因此，至少需称 3 次。【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解：“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的，因此该种情况发生的概率为 P ? 1 ? 1 ?1 ，该事件的信息量为：6636I ?? log 36 ?? 5.17 比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概率为 P ? 1 ? 1 ? 5 ?5 ，因此该事件的信息量为：6636I ?? log 36 ?? 2.85 比特5“两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P ?? 1 ?? 1 ?? 2 ?? 1 ，因此该事件的信息量为：6618I ?? log18 ?? 4.17 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有 多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量（假设已知星期一至星期日的顺序）？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P ?? 1 ，因此此时从答案中获得的信息量为7I ?? log 7 ?? 2.807 比特而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得的信息量为 0 比特。【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？解：设 A 表示女孩是大学生， P( A) ?? 0.25 ；B 表示女孩身高 1.6 米以上， P( B | A) ?? 0.75 ， P( B) ?? 0.5“身高 1.6 米以上的某女孩是大学生”的发生概率为P( A | B) ?? P( AB) ?? P( A) P(B | A) ?? 0.25 ??0.75 ?? 0.375P( B)P( B)0.5已知该事件所能获得的信息量为I ?? log10.375? 1.415 比特X?a1 ?? 0a2 ?? 1a3 ?? 2a4 ? 3?【 2.5 】设 离 散无记 忆 信 源 ?? ，其发出 的 消 息为 ?P( x)?3 / 81/ 41 / 41/ 8（202120130213001203210110321010021032011223210），求（1） 此消息的自信息是多少？（2） 在此消息中平均每个符号携带的信息量是多少？ 解：信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：I (a0? 0) ?? log 8 ?? 1.415 比特3I (a1 ?? 1) ?? log 4 ?? 2 比特I (a2 ?? 2) ?? log 4 ?? 2 比特I (a3 ?? 3) ?? log 8 ?? 3 比特在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3”符号，则得到消息的自信息为：I ?? 14 ?1.415 ?? 13 ?? 2 ?? 12 ?? 2 ?? 6 ?? 3 ?? 87.81 比特45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为I ?? 87.81 ?? 1.95 比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算