heu信息论课件第2章 总结.pptVIP

信 息 论Information Theory 信道定义：信息传输的通道 什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 §2.1 信道的数学模型及分类 信道的分类 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户 。 1.单维离散信道的数学模型 连续信道：输入和输出随机变量都取值于连续集合的信道。 信道传递特性：传递特性用条件转移概率密度函数p(y/x)表示。 连续信道数学模型：[X p(y/x) Y] 加性(连续)信道 模型 噪声与输入X统计独立 噪声以相加形式出现 加性(连续)信道的重要性质 (1) p(y/x) = p(n)——信道的条件概率密度 =噪声的概率密度 (2) Hc(Y/X) = Hc(N)——噪声熵=噪声信源的熵 §2.2 信道传输的平均互信息 平均互信息量 互信息量： 先验的不确定性减去尚存在的不确定性。就是收信者收到的信息量，称为互信息量。得到信息消除了不确定性，不确定性减少就是所获得的信息量。 熵的关系 熵的关系 熵的关系 平均互信息I(X；Y)的特征： 平均互信息量的非负性 平均互信息量的极值性 平均互信息量的交互性（对称性） 平均互信息量的凸函数性 §2.3 信道容量 信道容量：信道对于一切可能的概率分布而言能够传送的最大熵速率。 信道编码定理 信道编码定理 （有噪信道编码定理）即香农第二定理： 设有一离散无记忆平稳信道，其信道容量为C，输入序列长度为L，只要待传送的信息传输率RC，总可以找到一种编码，当L足够长时，译码差错率Peε，ε为任意大于零的正数。反之，当RC时，任何编码的Pe大于零。 求信道容量C的方法： 信道容量C是假定信道固定的前提下，选择一种试验信源，使信息率最大。 一旦找到了这个信道容量，它就与信源不再有关，而是信道特性的参量，随信道特性的变化而变化。 不同的信道，其容量C是不同的。 简单离散信道的信道容量 1.无噪无损信道容量 2.有噪无损信道容量 2.有噪无损信道容量 3.无噪有损信道容量 3.无噪有损信道容量 注意：在求信道容量时，调整的始终是输入端的概率分布p(xi) ，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi) ，而不能用输出端的概率分布p(yj)来代替。 简单离散信道的信道容量 有噪有损信道 对称离散信道的信道容量 一般离散信道的信道容量 定义 给定信道时，对所有可能的输入概率分布求平均互信息的极大值！ 习题 简答： 1.设X为信源，Y为经过信道后信宿收到的信息，简述下图中各个熵的物理意义。 I(X；Y)——平均互信息量，即从信道中通过的信息量。 H(X/Y)——可疑度（疑惑度分），损失熵。表示信息在有噪信道中传输所引起的信息量的减少。 H(Y/X)-——散布度，噪声熵。 噪声引起的不确定性的增加。 H(XY)-——联合熵，信源和信宿的总熵 H(X)-——信源熵 H(Y)-——信宿熵 简答： 2.简述信道平均互信息I(X；Y)的含义及其性质。 3.简述信道容量的定义。 4.给出信源符号数为r的无噪无损离散信道的转移概率矩阵信道容量及其平均互信息I(X；Y)与信源熵H(X)信宿熵H(Y)的关系。 判断： 1.对于输入对称离散信道来说，当输入信源的概率分布等概时则输出概率分布也等概。(×) 2.因为信道容量 ，而平均互信息I(X；Y)在信道转移概率给定的条件下，是关于输入概率分布p(x)的∩型凸函数，所以能达到信道容量的概率分布是唯一的。 (×) 3.对于准对称/对称离散信道而言，达到信道容量的输入分布是等概分布。 (√) 4.对于一般离散信道，达到信道容量的输入分布不是唯一的，因此输出概率分布也不是唯一的。(×) 5.对于加性噪声信道而言，在信号与噪声统计独立的情况下，噪声熵是由噪声信源的熵决定的。 (√) 计算： 1.求下列两个信道的信道容量，并加以比较 (1) (2) 2009 信息传输率R就是平均户信息 信道的输入输出关系——统计依赖关系 可以用随机过程描述 1、无噪无损信道 简单离散信道：输入输出之间为确定关系或 简单的统计