- 1、本文档共62页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
信息论与编码习题解答
信息论与编码习题解答
第一章
1. 一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说:我多遍地欣赏梅兰芳大师的同一段表演,百看不厌,大师正在唱的正在表演的使我愉快,将要唱的和表演的我都知道,照你们的说法电视里没给我任何信息,怎么能让我接受呢?请从信息论的角度对此做出解释。(主要从狭义信息论与广义信息论研究的内容去理解和解释)
答:从狭义信息论角度,虽然将要表演的内容观众已知,但是每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感官和视听享受。从这一角度来说,观众还是可以得到新的信息的。另一种解释可以从广义信息论的角度来分析,它涉及了信息的社会性、实用性等主观因素,同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受,因此属于广义信息论的范畴。
2.利用下图(图1.2)所示的通信系统分别传送同样时间(例如十分钟)的重大新闻公告和轻音乐,它们在接收端各方框的输入中所含的信息是否相同,为什么?
图1.2 通信系统的一般框图
答:重大新闻是语言,频率为300~3400Hz,而轻音乐的频率为20~20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大,按码元熵值,音乐的信息量要比新闻大。但是在信宿端,按信息的不确定度,信息量就应分别对待,对于新闻与音乐的信息量大小在广义上说,因人而异。
第二章
1.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。(1)一人随手取出3颗,经测量恰好找出了假珠,问这一事件大约给出了多少比特的信息量;(2)不巧假珠又滑落进去,那人找了许久却未找到,但另一人说他用天平最多6次能找出,结果确是如此,问后一事件给出多少信息量;(3)对上述结果作出解释。
解:(1)从240颗珍珠中取3颗,其中恰好有1颗假珠的概率为:
所以,此事件给出的信息量为:I= – log2P = log280=6.32 (bit)
(2)240颗中含1颗假珠,用天平等分法最多6次即可找到假珠,这是一个必然事件,因此信息量为0。
(3)按照Shannon对信息量的定义,只在事件含有不确定成分,才有信息量,并且不确定成分越大,信息量也越大,必然事件则没有信息量。但是从广义信息论的角度,如果那个人不知道用天平二分法找假珠,另一个告诉他这个方法,使他由不知道到知道,也应该含有一定的信息量。
2.每帧电视图像可以认为是由3(105个象素组成,所有象素均独立变化,且每一象素又取128个不同的亮度电平,并设亮度电平等概率出现。问每帧图像含有多少信息量?如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,且彼此独立)?若要恰当地描述此图像,广播员在口述中至少需用多少汉字?
解:由于每一象素取128个不同的亮度电平,各个亮度电平等概率出现。因此每个亮度电平包含的信息量为
I(X) = – lb(1/128)=lb128=7 bit/像素
每帧图像中像素均是独立变化的,因此每帧图像信源就是离散亮度电平信源的无记忆N次扩展。由此,每帧图像包含的信息量为
I(XN) = NI(X)= 3(105(7 =2.1(106 bit/帧
广播员在约10000个汉字中选取字汇来口述此电视图像,各个汉字等概分布,因此每个汉字包含的信息量为
I(Y) = – lb(1/10000)=lb1000=13.29 bit/字
广播员述电视图像是从这个汉字字汇信源中独立地选取1000个字进行描述,因此广播员描述此图像所广播的信息量是
I(YN) = NI(Y)= 1000(13.29 =1.329 (104 bit/字
由于口述一个汉字所包含的信息量为I(Y),而一帧电视图像包含的信息量是I(XN),因此广播员要恰当地描述此图像,需要的汉字数量为:
字
3.已知 X: 1, 0
P(X): p, 1 – p
(1)求证:H(X) = H(p)
(2)求H(p)并作其曲线,解释其含义。
证明:H(X)= I(X1) +I(X2) = –plbp – (1–p)lb (1–p) =H(p)
解:
该H(p)曲线说明,当0与1等概出现时,即p=0.5时,熵最大。当p由0.5分别趋向于0和1时,熵逐渐减小至0。
4.证明H(X3|X1X2) ( H(X2|X1),并说明等式成立的条件。
证明:设离散平稳信源输出的随机符号序列为…X1,X2,X3,…。又设,,,而且都取自于同一符号集,并满足有
在区域[0,1]内设f(x)=-xlogx, f(x)在[0,1]内是型凸函数,所以满足詹森不等式
其中
现今,设其概率空间为,并满足
所以根据
文档评论(0)