第3讲-条件熵.联合熵及熵的性质.pptVIP

信源及其信息熵;2.1.3 条件熵及联合熵; 条件熵是在联合符号集合XY上的条件自信息量的数学期望。 在已知随机变量Y的条件下，随机变量X的条件熵定义为：; 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 ;熵、条件熵、联合熵关系;一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， ;得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6;联合熵H(XY) H(XY)＝H(X)＋H(Y|X)=1.8bit/符号;由;2.1.4 熵的基本性质 ;熵的基本性质;非负性; 对称性;确定性; 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重， ，使信源熵保持不变。 ; 可加性; 极值性——最大离散熵定理 ;定理：1. H(X/Y) ≤H(X) （条件熵不大于无条件熵） 2. H(XY) ≤H(X)+H(Y) ;基本定理推广;2.1.5 离散序列信源的熵; 设信源输出的随机序列为 X =(X1X2…Xl…XL) 序列中的变量Xl∈{x1,x2,… xn};离散无记忆信源的序列熵 ;离散无记忆信源的序列熵 ;离散无记忆信源的序列熵 ;例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:;例:有一离散平稳无记忆信源 ;信源熵为 ;; 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表; H(X1,X2)表示平均每二个信源符号所携带的信息量, 那么平均每一个信源符号携带的信息量近似为: ;对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论:;若信源输出一个L??序列,则信源的序列熵为;（1）条件熵H (XL|XL-1) 随L的增加非递增;2.1.6 冗余度;冗余度