平均互信息量及各种熵关系.pptVIP

第2章 信源熵 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 一、平均互信息量定义 二、平均互信息量物理意义 二、平均互信息量性质 2.1.6 各种熵之间的关系 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 离散集的平均互信息量 不同概率空间集合之间的平均互信息量对于通信问题的探讨十分重要。 通信的目的是在接收端准确地或以尽可能小的失真复现发送的消息。一般通信系统的输入和输出存在一定的概率关系。 令X和Y分别表示一个通信系统的输入事件集和输出事件集。 讨论输入X、输出Y均为离散的情况。研究离散集X和Y的平均互信息量。这时输入和输出均可用离散概率空间描述。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 互信息量—信道中信息流通的测度？ 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。 它只能定量地描述输入随机变量发出某个具体消息xi，输出变量出现某一具体消息yj时，流经信道的信息量。 “输入xi ，输出yj”是一个概率为p(xi yj) 的随机事件，相应的I(xi;yj)也是随xi和yj变化而变化的随机量。 互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度。 这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 作为一个测度，它不能是随机量，而是一个确定的量。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 输入X、输出Y的离散概率空间描述 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 输入X、输出Y的联合空间XY Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 平均条件互信息量 定义： 在联合集XY上，由 提供的关于集X的平均条件互信息量等于由 所提供的互信息量 在整个X中以 后验概率加权的平均值，其定义式为 由于互信息 是表示观测到 后获得的关于事件 的信息量，即 故平均条件互信息量又可以表示为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 定理 定理： 联合集XY上的平均条件互信息量有 等号成立当且仅当X集中的各个 都与事件 相互独立。 平均条件互信息量表示观测到yj后获得的关于集X的平均信息量。 I(X; yj)仍然是一个随机变量，随yj的变化而变化，因此，不能作为信道中流通信息量的整体测度。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 定理 I(X;yj)≥0 的证明 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 平均互信息量 定义：平均互信息量I(X;Y)是平均条件互信息量I(X;yj)在整个集Y上的概率加权平均值。其定义式为 定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值 称I(X;Y)是Y对X的平均