信息论与编码（汤学明）信息论与编码——A.docVIP

计算机学院 2011 — 2012 学年第 一 学期 《信息论与编码》考试试卷 A卷 闭卷 考试时间： 2011 年 11 月 29 日 专业 信息安全 班级 学号 学生姓名 题号 一 二 三 四 五 六 七 总分 核对人 题分 10 20 18 15 15 10 12 100 得分 得分 评卷人 一、填空题（共10分，每空1分） (1) 根据信息的性质，可以将信息分成 、语义信息和 。 (2) 连续信源的相对熵不具有 性，且最大连续熵与限制条件有关，当连续信源的峰值功率受限时，则输出信号幅值取 分布时，取得最大连续熵。 (3) 平均互信息的凸函数性表现为：固定信源概率分布，是信道转移概率分布的 函数；固定信道转移概率分布，是信源概率分布的 函数。 (4) 某单符号离散信源取值于4种不同符号构成的符号集，对其进行5次扩展，则扩展信源的符号序列数共有 种，扩展信源的最大熵为 。 (5) 常见的多用户信道主要有　　　　　　　　　　　　、　　　　　　　　　　和相关信源的多用户信道三种类型。 得分 评卷人 二、名词解释（共20分，每小题5分） (1) 平均码长： (2) 信道散布度： (3) 冗余度： (4) 极限熵： 得分 评卷人 三、计算题I（共18分） X Y 0 1 2 3 0 0.01 0.02 0.03 0.04 1 0.10 0.12 0.16 0.22 2 0.09 0.08 0.07 0.06 设随机变量X和随机变量Y，它们的联合概率分布为如右表所示，试计算： (1) 信息熵； （6分） (2) 条件熵； （5分） (3) 平均互信息； （3分） (4) 令，如果对Z进行定长无失真信源编码，若要求编码效率不小于90%，译码差错率低于，需要多少个符号一起编码？ （4分） 得分 评卷人 四、计算题II（共15分） 设某二阶齐次马尔可夫信源在任意时刻可能发出4种不同的符号，其状态转移图如右图所示，试求： (1) 一步状态转移概率矩阵； (2) 极限熵； (3) 该马尔可夫信源的冗余度。 得分 评卷人 五、计算题III（共15分） 某离散无记忆信道的输入输出均为3种可能的符号“黑”、“灰”、“白”，若输入“黑”，输出“黑”、“白”的概率均为0.1；输入“灰”，输出“灰”、“白”的概率均为0.2；输入“白”，输出“黑”、“灰”的概率均为0.25；求： (1) 该信道的转移概率矩阵； （3分） (2) 该信道的信息容量C； （7分） (3) 达到信道容量C时的最佳输入概率分布。 （5分） 得分 评卷人 六、计算题IV（共10分） 设有某二元离散信源的概率分布为：，其失真矩阵定义为：，某试验信道的信道矩阵为，试求： (1) 该信源的 (2) 如限定最大许可平均失真度，求信息率失真函数 (3) 将失真视作单位为“元”的经济损失，求率失真函数的信息价值率 得分 评卷人 七、信源编码题（共12分） 设有一单符号离散无记忆信源如下： ，试求： (1) 2进制费诺编码、平均码长及其编码效率。 （5分） (2) 3进制哈夫曼编码、平均码长及其编码效率。 （7分） - 2 -