信息论习题集..docx

信息论习题集第一章、?判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、必威体育官网网址性和认证性，以达到信息传输系统的最优化。（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）5、必威体育官网网址性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（√）7、互信息的统计平均为平均互信息量，都具有非负性。（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）11、在信息处理过程中，熵是不会增加的。（√）12、熵函数是严格上凸的。（√）13、信道疑义度永远是非负的。（√）14、对于离散平稳信源，其极限熵等于最小平均符号熵。（√）2-1?同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：??(1)?“3和5同时出现”事件的自信息量；??(2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4)?两个点数之和(即??2，3，…，12构成的子集）的熵；??(5)两个点数中至少有一个是1的自信息。2-2?居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、?2-3两个实验和，联合概率为（1）如果有人告诉你和的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你的实验结果，你得到的平均信息量是多少？（3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少？??2-4某一无记忆信源的符号集为，已知，。（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的信息量的表达（3）计算（2）中的序列熵。?2-5?有一个马尔可夫信源，已知转移概率为。试画出状态转移图，并求出信源熵。???2-6有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下：?ji1231231/22/32/31/401/31/41/30?（1）求的联合熵和平均符号熵；（2）求这个链的极限平均符号熵；（3）求和它们对应的冗余度。?2-7?一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。（1）求平稳后的信源的概率分布；（2）求信源熵；（3）求当和时信源的熵，并说明其理由。2-8设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；如果为时，则为概率为，为的概率为0。而且后面发出的概率只与有关。有。试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵。?第三章一、判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、必威体育官网网址性和认证性，以达到信息传输系统的最优化。（√）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（√）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（√）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（√）5、必威体育官网网址性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（√）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（√）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（√）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）10、连续信道的信道