第7章 信源与信道编码.pdfVIP

7.1 引言 信源编码：在尽量保证保真度的情况下，压缩 冗余信息，提高有效性 v给定传输速率，保真度尽可能高 v尽量降低冗余，减少传输速率要求 主要内容 v信源分类及其统计特性 v信息熵，信源剩余度 v互信息，各类熵与互信息的关系 v无失真离散信源编码，Huffman编码 v信息率失真R(D) 函数 7.2 信源分类及其统计特性描述 信息、信号、消息 信源分类 v连续 （模拟信源）、离散 （数字信源） ÿ例如：语音图象等 （未数字化的、数字化的） v单消息 （符号）信源 ÿ离散的 （重点）： X x ,L, x , L,x n 1 i n P xi 1 P xi P x1 ,L, P xi , L,P xn i 1 ÿ连续的： 可用连续随机变量及其概率密度函数描述 （非重点） 7.2 信源分类及其统计特性描述 信源分类 （续） v消息 （符号）序列信源 ÿ离散的：输出一个离散消息 （符号）序列 •是单消息离散信源的扩展 （重点，具体分析见 下页） ÿ连续信源 •体现为实际的物理信号 •可由随机过程描述 •通常可以数字化、离散化 7.2 信源分类及其统计特性描述 离散消息 （符号）序列信源的统计特性描述 v序列长度L ，假设各符号取值范围相同 （n种取值）， 则输出的消息序列是L 维随机矢量 X X 1 LX l LX L v具体样值为 x x Lx Lx 1 l L v其统计特性由取值集合及联合概率描述： P x P x Lx Lx P x P x | x P x | x x LP x | x Lx 1 l L 1 2 1 3 2 1 L L 1 1 L n v对应 种取值 7.2 信源分类及其统计特性描述 离散消息 （符号）序列信源 v离散无记忆序列信源：序列中前后符号相互统计独立 L P x P x ,L,x ,L,x P x 1 l L l l 1 v离散有记忆序列信源：实际情况下，通常序列中前后符 号不是相互统计独立的 ÿ分析起来复杂，需要知道多维联合分布 ÿ为便于分析，简化后可用马尔可夫链表示 7.3 信息熵H(X) 信息的基本特征：不确定性。因此信息的定量 度量应该是概率P 的函数 信息的两个特点 v随概率P 的递减性：概率越大，信息量越小 P x ，I P x v可加性：两个独立消息的总信息量应是两个消息的信 息量的和 I P x P y I P x I P y