信息论与编码第2章信源与信源熵报告.ppt

第2章 信源与信源熵 吴晓青 目录 2.1 信源的数学模型和分类 2.2 离散信源的熵与互信息 2.3 熵的性质 2.4 离散信源序列的熵 2.5 连续信源的熵与互信息量 2.6信源相关性与冗余度 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。使用统计方法描述。 信源的分类（根据幅度、时间） 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源： 输出在时间和幅度上都是离散分布的消息。消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 连续信源： 时间、幅度都连续的信号作为信源；比如：声音等波形信源 时间离散、幅度连续的信源 离散信源分类 离散无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 离散有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础 无条件概率，条件概率和联合概率的性质和关系： （1）非负性 （2）完备性 （3）联合概率 （4）贝叶斯公式 2.1.1信源输出的消息由随机变量描述 信源输出消息有限或者可数，每次只输出所有消息符号之一，用一维离散型随机变量来描述。 信源每次只输出单个符号，消息的数量不可数，用 一维连续型随机变量来描述。 定义2.1 如果信源输出的消息数量是有限或者可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单离散信源。 投掷骰子问题 2.1.2 信源输出的消息由随机矢量描述 信源输出的消息是由一系列符号组成的，要用随机矢量来描述。 举例： 有一个布袋，内放100个球，其中白球80个，黑球20个，如果除了颜色不同之外，其它方面如手感、大小等都相同。 现在从布袋中随机摸取一个球，观察球的颜色，摸到的球要么是白色（表示为a1），要么是黑色(表示为a2 )。使用如下概率空间（数学模型）表示： 进行两次取球实验，首先取出一个球，记录球的颜色，取出的球不放回去，然后再取一个球，记录球的颜色。现在考察取出的两个球的颜色，只有4种可能：白色白色、白色黑色、黑色白色、黑色黑色 。 a1，a2分别表示白色球和黑色球 定义2.3 如果离散信源输出的消息是由一系列符号组成的，这样的信源称为多维离散信源。 根据信源序列符号之间是否关联，信源分为： 离散无记忆信源 离散有记忆信源 1．离散无记忆信源 长度为N的序列(X1,X2,..XN),记为XN，它的联合概率分布可表示为p(XN) ，随机变量Xi∈A，A={a1,a2,…ar} 离散平稳无记忆信源 无记忆信源举例： 要从袋中取两球 ，每次从袋中取出一个球，只记录球的颜色（用变量x1表示），将球放回袋中，然后再次取出一球，记录球的颜色（用变量表示x2）。 信源输出序列：（X1,X2) 序列联合分布： P(X1,X2) 且满足 P(X1,X2)=p(X1)p(X2) 如果X1=“黑色”，X2=“黑色”，则p(X1,X2)=20/100*20/100 无记忆信源： 扔2个骰子，第一个骰子出现点数记为A1,第二个骰子出现点数记为A2，将此实验看作信源输出，输出序列（A1,A2),A1,A2各有6个取值，故有62=36个随机序列，每个序列的概率分布为1/36。 2、离散有记忆信源 消息序列的符号之间有关联的信源，称为有记忆信源。 符号之间的关联用条件概率来表示。 分为： 一般离散有记忆信源 马尔可夫信源 举例： 布袋取球实验中， 先取一球不放回，然后再取一球，第二个球的颜色概率分布与第一个球的颜色有关： 如果摸出第一球为白色，则摸取第二个球为黑色的概率 p(黑色|白色)=20/99 长为N的离散有记忆信源序列用N维联合概率分布表示: 马尔可夫信源 m阶马尔可夫信源 2.2 离散信源的熵与互信息 内容提要： 非平均信息量 平均信息量（信息熵） 自信息量 自信息量定义应当遵循的原则： (1)确定性事件，即P =1时，信息量应当为0 (2)事件出现的概率越小，信息量应当越大；反之亦 然； (3)自信息量为非负的； (4)两个相互独立事件联合自信息量应等于它们各自两个信息量之和 定义2.5 给定信源的概率空间 例2.1 某二元信源发出符号0，1的概率分别为, p(0)=1/4 ,p(1)=3/4, 求I(0),I(1)。 解：根据定义知： 如果二进制信源的消息0、1以等概率出现，则 关于不确定性讨论 事件自信息量表示： 该事件（例如符号）出现后，提供给接收者的信息量； 该事件（某个信源符号）