信息论与编码英文课件 ch2例题与证明二.docVIP

平均互信息的物理意义 （1）Y对X的平均互信息 * Y对X的平均互信息是对Y一无所知的情况下，X的先验不定度与收到Y后关于X的后验不定度之差，即收到Y前、后关于X的不确定度减少的量。 H(X/Y)表示收到随机变量Y后，对随机变量X仍然存在的不确定度，这是Y关于X的后验不定度，通常称它为信道疑义度或损失熵(代表了在信道中损失的信息) (2)X对Y的平均互信息 * X对Y的平均互信息是Y的先验不定度与发出X后关于Y的后验不定度之差，即发X前、后关于Y的不确定度减少的量。H(Y/X)表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度，常被称为噪声熵。 (3) Y对X的平均互信息 * 信道两端随机变量X，Y之间的平均互信息量等于通信前、后整个系统不确定度减少的量。联合熵表示输入随机变量X，经信道传输到达信宿，输出随机变量Y，即收发双方通信后，整个系统仍然存在的不确定度。如果在通信前，我们把X，Y看成是两个独立的随机变量，那么通信前，整个系统的先验不定度即X和Y的联合熵等于H(X)+H(Y)；通信后，我们把信道两端同时出现X和Y看成是由信道的传递统计特性联系起来的具有一定统计关联关系的两个随机变量，这时整个系统的后验不定度由H(XY)描述。 [例2.1.5]将已知信源接到下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 0.98 0.02 0.2 0.8 解：（1）由求出各联合概率： （2）由得到Y集各消息概率： （3）由，得到X的各后验概率： 同样可推出 （4） =0.98(比特/符号) = 1.43（比特/符号） （5）平均互信息 （6）疑义度 （7）噪声熵 平均互信息的性质-非负性 先前考虑两个具体消息之间的互信息量时，可能出现负值。而平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。 当且仅当X和Y相互独立时，等号成立。 凸函数性 显然平均互信息是信源概率分布和表示输入输出之间关系的条件概率或称信道传递概率分布的函数。 若固定信道，调整信源： 若固定信源，调整信道： (1)平均互信息是输入信源概率分布的上凸函数 所谓上凸函数，是指同一信源集合,对应两个不同的概率分布和,若有小于1的正数,使不等式 成立,则称函数为的上凸函数。 令，因是和的线性组合，构成一个新的概率分布（参见上节熵的上凸性的证明）。当固定信道特性为时，由确定的平均互信息为 根据熵的极值性有 代入上式有 仅当==时，等号成立，一般情况下 (2)平均互信息是信道转移概率的下凸函数 固定信源，通过调整信道而得；即有两个不同的信道特性和将信道两端的输入和输出即X和Y联系起来，如果用小于1的正数对和进行线性组合，得到信道特性：。所谓下凸函数即 证法二：互信息I(U;V)是的上凸（凸）函数；是的下凸（凸）函数。 证明：为了证明方便，我们将互信息改写为： 当条件概率不变时，， 这时， 设：，即为与内插值， 其中，这时有 所以要证明是的上凸函数，只需证： （按上凸函数定义） ，即： ～～～～～～～ ～～ ～～～～～～～ ～～ E f E f 上凸性得证。 再证下凸性，这时，可认为为不变值， 则 同理，可设：， 而 要证下凸性，只需证 ，即： ～～～～～～～ ～～ ～～～～～～～ ～～ E f E f 下凸性亦得证。 [例2.1.6]设二进制对称信道的输入概率空间为 X 0 ,1 P(x) p,1-p 信道转移概率如下图 0 q 0 1-q 1-q 1 1 q 由信道特性决定的条件熵： 由可求得 平均互信息量 …(1) 在式（1）中，当不变即固定信道特性时，可得随输入概率变化的曲线，如下图所示。由图可见，二进制对称信道特性固定后，输入呈等概率