信息论基础》试卷(期末A卷new.docVIP

重庆邮电大学学年，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一 信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为；与其熵相等的非高斯分布信源的功率为 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“”或“” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X)。 二、掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3.两个点数中没有一个是1的自信息是多少？ 解：1.P（“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit 2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P（4,3）=1/36 6=1/6 则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit 3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 则该消息包含的信息量是：I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit 三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z，取Z=YX（一般乘积）。试计算： 1.H（Y）、H（Z）； 2.H（XY）、H（YZ）； 3.I（X;Y）、I（Y;Z）； 解：1. =1bit/符号 Z=YX而且X和Y相互独立 = = 故H(Z)= =1bit/符号 2.从上式可以看出:Y与X的联合概率分布为: P(Y,Z) Y=1 Y=-1 Z=1 0.25 0.25 Z=-1 0.25 0.25 H(YZ)=H(X)+H(Y)=1+1=2bit/符号 3.X与Y相互独立，故H(X|Y)=H(X)=1bit/符号 I（X;Y）=H(X)-H(X|Y)=1-1=0bit/符号 I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号 四、如图所示为一个三状态马尔科夫信源的转移概率矩阵 P= 绘制状态转移图； 求该马尔科夫信源的稳态分布； 求极限熵； 解：1.状态转移图如右图 2.由公式,可得其三个状态的稳态概率为： 3.其极限熵: 五、在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P(1)=3/4,试求： 该信道的转移概率矩阵P 信道疑义度H（X|Y） 该信道的信道容量以及其输入概率分布解：1.该转移概率矩阵为 P= 2.根据P（XY）=P（Y|X）P（X），可得联合概率 P（XY） Y Y X=0 9/40 1/40 X=1 3/40 27/40 P(Y=i) 12/40 28/40 由P（X|Y）=P(X|Y)/P(Y)可得 P(X|Y) Y=0 Y=1 X=0 3/4 1/28 X=1 1/4 27/28 H(X|Y)=- 3.该信道是对称信道，其容量为： C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号 这时，输入符号服从等概率分布，即 六、某信道的转移矩阵 试求：该信道的信道容量及其最佳输入概率分布。 解：该信道是准对称信道，分解为两个互不相交的子信道矩阵 这里 C=logr-H(P的行矢量) - =0.174bit/符号 这时，输入端符号服从等概率分布，即= 七、