信息论基础—— 期末试卷 B 的答案.docVIP

大学 2008-2009 学年第一学期 2006级 信息与计算科学专业 本 科 卷 B 参考答案与评分标准 课程名称 信息论基础 课程号（???） 考试形式（闭卷笔试） 时间（120分钟）） 一、（15分） 解，平稳后信源的概率分布就等于一 阶马尔可夫信源状态的极限分布，即 ，；，； ----------------（1分） 从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状 态的极限分布存在。可得状态一步转移矩阵 ， ----------------（2分） 得：， ----------------（2分） 则可得：； ----------------（2分） (2) 一阶马尔可夫信源的熵 ； ----------------（4分） (3) 当,当,； ----------------（2分） 因为信息熵是表示信源的平均不确定性，题中当或时表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源输出的符号序列也是确定的。所以当或时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。 ----------------（4分） 二、（20分） 解 ； ----------------（2分） ----------------（2分） 它们都是二元对称离散信道；又因为 ，； 所以这个和信道容量为： ----------------（4分） 其中，Q1的利用率 其中，Q2的利用率 ----------------（2分） 由此得： ----------------（2分） 三、（12分） 解?r元唯一可译变长码，其码字对应的码长 必须满足克拉夫特不等式，即 ； ----------------（5分） 所以要满足 ，其中 r是大于或等于1的正整数； ----------------（2分） 可见，当时，不能满足Kraft不等式； ----------------（1分） 当时, ,不能满足Kraft； ----------------（1分） 当时, ,满足Kraft； ----------------（1分） 所以，求得的最大值下限值等于3。 ----------------（2分） 四、(15分) 解 二元霍夫曼码：00，10，11，010，011； ----------------（7分） 码长：2，2，2，3，3； ----------------（2分） 当信源给定时，二元霍夫曼码是最佳二元码；所以对于概率分布为的信源，其最佳二 元码就是二元霍夫曼码。 ----------------（2分） 这二元霍夫曼码一定是三个信源符号的码长为2（码符号/信源符号），另二个信源符号的码长为3（码 符号/信源符号），其平均码长最短。因此，上述对概率分布为信源所编的二元霍夫 曼码也是概率分布为信源的最佳二元码。 ----------------（4分） 五、(20