2014年武汉理工大学信息理论与编码期末复习资料(计算题含答案).docx

不确定性与信息 2.3一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？ （2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为 因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 可得，任一特定排列所给出的信息量为 bit/符号 dit/符号 （2）设事件B为从中抽取13张牌，所给出的点数都不同。 扑克牌52张中抽取13张，不考虑其排列顺序，共有种可能的组合。而扑克牌中每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为。因为牌都是充分洗乱的，所以在这种组合中所有的点数都不相同的事件都是等概率发生的。所以 则事件B发生所得到的信息量为 bit/符号 dit/符号 2.4 同时扔出两个正常的骰子，也就是各面呈现的概率都是，求： （1）“2和6 同时出现”这事件的自信息量。 （2）“两个3同时出现”这事件的自信息量。 （3）两个点数的各种组合（无序对）的熵或平均自信息量。 （4）两个点数之和（即2，3，…，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为，所以36种中任一状态出现的概率相等，为。 设“2和6同时出现”这事件为A。在这36种状态中，2和6同时出现有两种情况，即2，6和6，2。 所以 得 bit/符号 设“两个3同时出现”这个事件为B。在这36种状态中，两个3同时出现只有一种状态，所以 得 bit/符号 设两个点数的各种组合构成信源X。这信源X的符号集A（样本集）就是这36种状态，所以，并且其为等概率分布。得 所以 比特/符号 设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即（一般加法）。 而 所以得 满足 这是因为是由加一种状态得到；是由加和加两种状态得到；是由加，加及加三种状态得到，其他类似，由于X与Y统计独立，可得 由此可求出所有的概率分布。（可参见第三章习题解答3.6题。） 所以得 比特/符号 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是。现设两个点数中至少有一个数是1的事件为C事件，则得 所以得 比特/符号 2.5 设在一只布袋中装有100只手感完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况： 红色球和白色球各50只； 红色球99只，白色球1只； 红，黄，蓝，白色各25只。 求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。 若布袋中有红色球和白色球各50只，即 则 bit/符号 若布袋中红色球99只，白色球1只，即 则 bit/符号 bit/符号 若布袋中有红，黄，蓝，白色各25只，即 bit/符号 2.7 设信源为 求熵，井解释为什么，不满足信源熵的极值性。 解： bit/symbol 不满足极值性的原因是，信