《信息论与编码》习题集.docVIP

PAGE  PAGE 21 第二章习题： 补充题：掷色子，（1）若各面出现概率相同 （2）若各面出现概率与点数成正比 试求该信源的数学模型 解： （1）根据，且，得 ，所以信源概率空间为 （2）根据，且，得。 2-2 由符号集组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态概率。 解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5 二进制二阶马氏链的状态集S={}={00，01，10，11} 状态转移图 各状态稳定概率计算：即 得： 即：P(00)=P(11)= P(01)=P(10)= 2-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？ 解： 2-7 2-7设有一离散无记忆信源,其概率空间为 该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息的自信息量是多少及平均每个符号携带的信息量? 解:消息序列中,“0”个数为=14,“1”个数为=13,“2”个数为=12,“3”个数为=6. 消息序列总长为=+++=45(个符号) 消息序列的自信息量: - 平均每个符号携带的信息量为: 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P（1/0）=1/4，P（0/1）=1/8。求： （1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I（X;y=0）。 (2) 该情况所能提供的平均互信息量I（X；Y）。 解：X={0,1},Y={0,1} 求 (2) 2-25 某一无记忆信源的符号集为{0，1}，已知，。 （1）求符号的平均熵。 （2）由100个符号构成的序列，求某一特定序列（例如有m个0和100-m个1）的自信息量的表达式。 （3）计算(2) 中的序列的熵。 解：（1）对离散无记忆信源符号的平均熵： 比特/符号 （2）长度为L=100的符号序列中某特定序列，其中“0”的个数为m，“1”的个数为100-m.该特定序列的概率为 对离散无记忆信源，其符号独立出现，即 则该特定序列的自信息量为： =41+1.59m (bit) (3)长度为L=100的符号序列离散无记忆信源熵： =H(XX…X)==81（比特/序列） 2-30有一马尔可夫信源，已知转移概率为，，，。试画出状态转移图，并求出信源熵。 解：（1）由题意知，该马尔可夫信源阶数为1，状态集S= ， 状态转移图为： (2) 信源熵： 求稳态概率 计算方程： 即： 得： 即：P(S)=0.75 ，P(S)=0.25 求H(X/S) H(X/S) 则信源熵：H =H =0.69 比特/符号 2-33 一阶马尔可夫信源的状态图如图2-14所示，信源X符号集为{0，1，2}。 （1）求平稳后信源的概率分布； （2）求信源熵； （3）求当p=0或p=1时信源的熵，并说明其理由。 解：（1）一阶马尔可夫信源的状态空间S=X={0，1，2}，由图2-14状态转移图中分析得，此马尔可夫链是时齐的，状态有限的和不可约闭集，非周期，所以具有各态历经性。平稳后状态的极限分布存在，因为是一阶马尔可夫信源，状态的极限分布即平稳后信源符号的一维概率分布，即 根据状态转移图，得状态一步转移矩阵： 计算方程组 即 整理计算得： 即 状态极限概率 P(0)=P(