复习 信息论与编码 教学课件.docVIP

题型说明 填空(20) 判断(25) 简答(15) 计算(40) 一般称无失真信源编码定理为第一极限定理； 信道编码定理(包括离散和连续信道)称为第二极限定理 限失真信源编码定理称为第三极限定理。 已知离散无记忆平稳信源可以输出M个不同的消息符号，每个符号取值于符号集A ={}，相应的符号概率集P={}，则熵H（X）=。 二元信源，P(0)=p,P(1)=1-p。 信源熵为： H(X)= 。 p=0，1-p=1(或p=1，1-p=0)时；H(X)=-0log0+(-1log1)=0 bit/信符 在各种数据处理过程中，信息量永远只可能 。 在信道传输信息的过程中，所谓的信道疑义度、散布。 信道主要的研究问题是 。 保真度准则是指平均失真度不大于我们所允许的最大限度失真D。 二元码。 冗余度来自两个方面。 信源编码的问题是。 信源编码的基本途径有两个。 若一组码中所有码字都不相同，则称为非奇异码。 若码的任意一串有限长的码符号序列只能唯一地被译成所对应的信源符号序列，则此码称为唯一可译码，否则就称为非唯一可译码。 等长编码定理告诉我们，只要码字传输的信息量大于信源序列携带的信息量，总可以实现几乎无失真的编码。条件。 在信道编码中，线性码的线性关系是指 。 定量地描述信号的差错，收、发码之“差” ： 差错图样E＝发码C-收码R (模M) 随机/随机差错：若差错图样上各码位的取值既 与前后位置无关又与时间无关，即差错始终以相等的概率独立发生于各码字、各码 元、各比特； 在有记忆信道中，噪声、干扰的影响往往是前后相关的，错误是成串出现的。通常称这类信道为突发差错信道。 重数：构成矢量的有序元素的个数。维数：矢量空间的基底的个数。维数：矢量空间的基底的个数。维数不可能大于重数，当维数小于重数时，说明这是一个子空间。 RSA算法采用的是 __密码体制。 二、判断题的知识点（以下描述有对有错） 离散信源是指信源发出的消息在时间或幅度上是离散的。 对于连续信源只能采用限失真的编码方法。 在m阶马尔可夫链中，状态是指一个长度为m的符号序列。 平稳马尔可夫链一定是齐次的。 在马尔可夫链的状态转移矩阵中，每1列之和为1。 在马尔可夫链中，不可约性是指从任何一个状态经过有限次转移一定能够达到另一种状态。 对于无失真信源和无干扰信道而言，信源熵就是互信息量的数学期望。 对于一个信源，无论它是否输出符号，由于各个符号具有相应的概率分布特性，就肯定具有信息量。 连续信源的信源熵是大于等于0的。 对于连续随机变量序列信源，当信号平均功率受限时，均匀分布具有最大熵。 互信息量是信源先验概率pi=p(ui)的下凸函数。凸函数性(I(X；Y)的极值性： 平均互信息量I(X；Y)是输入信源概率分布p(xi)的上凸函数，这是研究信道容量的理论基础。 平均互信息量I(X；Y)是信道转移概率p(yj|xi)的下凸函数，这是研究信源的信息率失真函数的理论基础。 单个符号间的互信息量总是非负的。 H(X)= H(p1，p2，…，pn) ≥ 0 当pi=1时，等号成立，即：确定性信源。 非负性对于离散信源的熵是合适的，但对连续信源来说这一性质并不存在。 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于等于无条件熵；对于离散平稳信源，当考虑依赖关系为无限长时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵(极限熵)。可用条件熵或平均符号熵来作为平稳信源极限熵的近似值。 定理：若信源输出的幅度被限定在[a,b]区域内(即：信源的N维随机变量的取值在一定的范围之内)，则在有限的定义域内，当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。 连续信源在不同的限制条件下有不同的最大熵，在无限制条件时，最大熵不存在。 在符号序列信源发出消息的概率分布的复杂性随着序列长度的增加而增大。 对于某特定信道，信道转移概率矩阵已经确定，所以，信道容量就等于在信道上的数据传输率。 增大信道容量C或信息传输速率R，可以提高通信的可靠性。 在信道转移概率矩阵 中，各行和各列之和都为0。 与强对称信道的区别： 1. 强：n=m 对：n=m ? 2. 强：行元素集合与 列元素集合相等 对：？ 3. 强：行∑ =1，列∑ =1 对：行∑ =1，列：？ 4. 强：对称 对：？ 如果转移概率矩阵是输入对称而输出不对称，则该信道是准对称信道。 准对称信道:信道的输出集合可以划分为若干个不相等的且具有对称信道性质的子集合。 已知，对给定的信道(转移概率矩阵)，平均互信息I(X;Y)是信源概率分布的上凸函数。 BSC信道是对称DMC信道的一个特例 。 信道是一个广义的术语，可以是一段简单的物理通信线路，也可以是