2.2 多符号离散平稳信源熵.pptVIP

上一讲复习 1. 信源的分类 连续信源 信源 单符号无记忆离散信源 离散信源 单符号有记忆离散信源 符号序列无记忆离散信源 符号序列有记忆离散信源; 2. 信源的数学模型 ;自信息量;一 些 关 系 式;前面我们讨论的只是最基本的离散信源，即信源每次输出只是单个符号的消息，给出了用信息熵H(X)来对基本离散信源进行信息测度，研究了信息熵的基本性质。 然而信源每次输出的不是一个单个的符号，而是一个符号序列。通常一个消息序列的每一位出现哪个符号都是随机的，而且一般前后符号之间的出现是有统计依赖关系的，这种信源称之为多符号离散信源。 若信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。 如中文自然语言文字，离散化平面灰度图像都是这种离散型平稳信源。;通常用随机矢量来描述信源发出的消息序列，即 其中任一变量Xi 都是随机变量，它表示 t=i 时刻所发出的符号。信源在 t=i 时刻将要发出什么样的符号决定于以下两方面： 1. 与信源在 t=i 时刻随机变量Xi的取值的概率分布p(xi) 有关。一般情况下，t 不同时，概率分布也不同，即 ;2. 与 t=i 时刻以前信源发出的符号有关，即与条件概率 有关。同样在一般情况下，它也是时间t的函数，所以 以上所叙述的是一般随机序列的情况，它比较复杂。下面只讨论离散无记忆序列信源和两种比较简单的离散有记忆序列信源： 平稳序列信源 齐次遍历马氏链信源;2.2.1 离散无记忆的N次扩展信源的熵;例：若X={a1,a2}={0,1}，n=2，则 二元无记忆信源的二次扩展信源为： X2={00,01,10,11}，N=2（符号组的长度，扩展次数）, q=22=4. 二元无记忆信源的三次扩展信源为： X3={000，001，010，011，111，100，110，101}，N=3, q=23=8. 二元无记忆信源的N次扩展信源为：新信源具有q=2N个符号。 n元无记忆信源的N次扩展信源为：新信源具有q=nN个符号。;理解;其中q =nN ，每个符号αi 对应于某个由N个xi 组成的序列，而αi的概率p(αi)是对应的N个ai的概率组成的概率序列，考虑到信源是无记忆的，故消息序列 的概率为;符号序列概率: 设离散信源是由 n 个符号消息组成的集合 X=｛a1 , a2 , … , an｝ 若离散信源所发出的消息是集合X中N个符号组成的符号序列XN=(a1 ,a2 ,…,aq)，其中ai∈{ai1 , ai2 , … , ain}，则XN 称为 X 的N次扩展，N 称为符号序列的长度。 注意：ai1 , ai2 , … , ain可以在｛a1 , a2 , … , an｝中重复选取。 X的N次扩展的不同的符号序列共有nN个。;【例】X =｛a1 , a2 ｝ X2=｛a1 a1, a1 a2 , a2 a1 , a2 a1 ｝ X3=｛a1 a1 a1, a1 a1 a2 , a1 a1 a2 , a1 a2 a1 , … , x2 a2 a2 ｝ 1o 符号序列概率 P(XN)= P (a1a2 …aq) = P(a1)P(a2/a1) P(a3/a1 a2)…P(aq/a1a2 ,…, aq-1) ? 2o 当信源无记忆时 P(XN) = P(a1 a2 ,…, aq)= P(a1)P(a2)P(a3)…P(aq) 二、无记忆信源的序列熵 例: X =｛a1 , a2｝, p(a1)=0.2 , p(a2)=0.8 则H(X)=–0.2log20.2–0.8log20.8=0.464+0.258=0.722bit/符号; X2=｛a1 a1, a1 a2 , a2 a1 , a2 a1 ｝= {α1,α2 ,α3,α4} p(α1) =p(a1a1) = p(a1) p(a1) = 0.04 p(α2) =p(a1a2) = p(a1) p(a2) = 0.16 p(α3)= p(a2a1) = p(a2) p(a1) = 0.16 p(α4) =p(a2 a2)= p(a2) p(a2) = 0.64 H(X2)=0.186+0.423+0.423+0.412=1