信息论作业原题chapter.docVIP

第二、三章 习题 4.1 同时掷两个正常的骰子，也就是各面呈现的概率是，求： （1）“3和5同时出现”这一事件的自信息量。 （2）“两个1同时出现”这一事件的自信息量。 （3）两个点数的各种组合（无序对）的熵或平均信息量。 （4）两个点数之和（即2，3…12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。 4.2 消息符号集的概率分布和二进制代码如下表 元 p 代码 0 10 110 111 （1）求消息的符号熵。 （2）每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这个结果求码序列中的一个二进制码的熵。 （3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率和，求相邻码间的条件概率。 4.3 某一无记忆信源的符号集为{0，1}，已知=，= （1）求符号的平均信息熵。 （2）由100个符号构成的序列，求某一特定序列（例如有个“0”和（）个“1”）的自信息量的表达式。 （3）计算（2）中的序列的熵 4.6 有两个离散随机变量和，其和为（一般加法），若和相互独立， 求证： （1） （2） 4.7 对于任意的三个离散随机变量，，， 求证： （1） （2） （3） 4.9 一个等概率的信源符号有八种字母，分别是，，， ，，，，，用实验测定上述码字中的每个二进制符号，可得二元输出，已知条件概率为==1- ==。实验结果得=0000。求： （1）第一位码测定后所得的关于的自信息。 （2）第二，第三，第四位码测定后各得多少关于的自信息。 （3）全部结果=0000关于的自信息。 （4）讨论和时上述各自信息的情况。 4.12 两个元的随机变量和。都取值于定义，以及； 求证：其中是熵函数 4.14 有一个一阶平稳马尔柯夫链，各取值于集。已知起始概率为，，转移概率为 j i 1 2 3 1 2 0 3 0 （1）求的联合熵和平均符号熵。 （2）求这个链的极限平均符号熵。 （3）求和它们所对应的冗长度。 4.17给定语声信号样值x的概率密度为： 求：随机变量x的相对熵并验证其在相同方差下小于高斯熵。 4.18 连续变量X和Y的联合概率密度为： 求：，，和。 4.23 令是定义在连续区间上取值于非负实数的连续函数，若连续随机变量的概率密度，且，并定义 （1）试证必存在一个，使 （2）若有当时，；时，0 求证熵的上界式为，当且仅当是的概率密度时成立。 （3）用上述一般结论，求下列各下的熵上界公式 a) b) c)