heu信息论课件期末考试题库.pptVIP

信息论 梅继丹 电话E_mail: meijidan@hrbeu.edu.cn 考试题型一、简答（30分）二、判断（30分）三、证明（10分）四、计算（30分） 1绪论及第一章 1、熵的极值性（H(X)=logq） 证明：设概率矢量 ，并且有 ， 另设随机矢量 ，即 ， ，由于 是正实数集上的∩型凸函数。所以根据詹森不等式有： 2、 3：X，Y统计独立：H(XY)=H(X)+H(Y) 4：H(XY)= H(X/Y) +H(X) 5：I(X;Y) =0 1.信息熵的定义，什么是最大离散熵定理。 定义：自信息量的数学期望为信源的平均自信息量。 最大熵定理：离散信源时，信源各符号等概率分布时熵最大。 3、什么是信源？它的主要特征是什么？ H(X)-——信源X的熵，是信源X的自信息量的数学期望； H(Y)-——信源Y的熵； H(X/Y)——条件熵。描述两个或两个以上的概率空间之间的相互关系，观测到Y（Y中所有元素）后对信源X还保留的平均不确定性； H(Y/X)-——条件熵。观测到X（X中所有元素）后对信源Y还保留的平均不确定性； H(XY)-——联合熵，两信源的总熵； I(X；Y)——平均互信息量，两个信源共同拥有的不确定性。 熵之间的关系 判断 离散信源的互信息量可以为负值，因此平均互信息量也可以为负值 ？（×） 连续信源熵可能为负值，因此真实世界中有存在负熵？（×） 信源的熵数学上不可能为负值? （×） 连续信源的差熵不可能为负值?（×） 信道 简答： 1.设X为信源信息，Y为X经过信道后信宿收到的信息，简述下图中各个熵的物理意义。 I(X；Y)——平均互信息量，即从信道中通过的信息量。 H(X/Y)——可疑度（疑惑度分），损失熵。表示信息在有噪信道中传输所引起的信息量的减少。 H(Y/X)-——散布度，噪声熵。是由噪声引起的不确定性的增加。 H(XY)-——联合熵，信源和信宿的总熵 H(X)-——信源熵 H(Y)-——信宿熵 简答： 2.简述信道平均互信息I(X；Y)的含义及其性质。 3.简述信道容量的定义。 4.给出信源符号数为r的无噪无损离散信道的转移概率矩阵、信道容量及其平均互信息I(X；Y)与信源熵H(X)信宿熵H(Y)的关系。 5.给出信源符号数为r的有噪无损离散信道的信道容量及其平均互信息I(X；Y)与信源熵H(X)信宿熵H(Y)的关系。 6.给出信宿符号数为s的无噪有损离散信道的信道容量及其平均互信息I(X；Y)与信源熵H(X)信宿熵H(Y)的关系。 判断： 1.对于输入对称离散信道来说，当输入信源的概率分布等概时则输出概率分布也等概。(×) 2.因为信道容量 ，而平均互信息I(X；Y)在信道转移概率给定的条件下，是关于输入概率分布p(x)的∩型凸函数，所以能达到信道容量的输入概率分布是唯一的。 (×) 3.对于准对称/对称离散信道而言，达到信道容量的输入分布是等概分布。 (√) 4.对于加性噪声信道而言，在信号与噪声统计独立的情况下，噪声熵是由噪声信源的熵决定的。 (√) 计算： 1.求下列两个信道的信道容量，并加以比较 (1) (2) 信源编码 简答 1、简述即时码、唯一可译码、非奇异码的定义，并给出这几种码之间的关系。 判断 非奇异的非继长码一定是惟一可译码（√）。 不满足克拉夫特不等式的信源编码一定不是即时码（√）。 霍夫曼编码一定是紧致码（√） 。 费诺编码一定是紧致码（×）。 信道编码的目的是提高通信有效性（×）。 费诺码的编码方法是唯一的（ × ） 。 霍夫曼编码的平均码长总是小于等于香农编码的平均码长（√） 。 计算 计算题1 一个含有8个消息的离散信源，其概率各自为0.4、0.2、0.1、0.1、0.05、0.05、0.05、0.05。 (1) 求信源熵。 (2) 编三进制紧致码，计算平均码长及编码效率 信道编码 简答 1、什么是最大似然译码规则。 2、什么是最小错误概率译码规则。 3、给出汉明距离和最小码距的定义以及最小码距与纠错能力和检错能力之间的关系。 1．三重简单重复码可以用来作为纠一个错误的纠错码，或者可以用来作为发现两个错误的检错码（√）。 2．当最小码距满足 时，编码可以发现e个错误且同时纠正其中t个错误（×）。 3．当最小码距满足 时，该编码可以纠正t个错误且能发现e个错误（√）。 4．ARQ系统不需要反向信道（×）。 1、已知（7,4）汉明码的监督矩阵如下