信息科学教程5-1.ppt

通信——信息在空间中的传递或转移。主要目的：1.认识信息在传递过程中所必须遵守的规律；2.认识为了保证高质量、大容量、高速度传递信息所必须采用的方法和原则；3.揭示信息传递的某些重要性能的界限。Shannon第一编码定理Shannon第一编码定理练习题（2）编码方案A为：信息传递的质量标准信息传递的数量标准两者有什么样的关系？信道的噪声特性——转移概率矩阵现在考虑给定信道的条件下，分析信息传递的质量和数量之间的关系。信源“0”→“000”，“1”→“111”输出符号Y：{000，001，010，100，011，110，101，111}。考虑信道的无记忆性，有在信道输入符号“0”和“1”等概率的条件下，“0”的码字“000”和“1”的码字“111”亦等概率，即译码规则，F(000)=F(001)=F(010)=F(100)=000F(011)=F(110)=F(101)=F(111)=111其最小平均错误译码概率这表明，经过简单的重复信道编码以后，采用同样译码规则，平均错误译码概率的最小值差不多要比不进行信道编码时降低两个数量级，从而提高了通信的可靠性。直观地看，在有噪声信道上，信息传输的可靠性与信息传输率之间是矛盾的，要提高可靠性就必须牺牲传输率，也就是增加重复传输的次数。实际上，只要选择合适的编码和译码方法，可以使信道的信息传输率保持在一定水平上，又可以使最小平均错误译码概率达到尽可能小的程度。结论：设有一离散无记忆平稳信道，该信道有r个输入符号，s个输出符号，其信道容量为C，只要信道的信息传输率RC，则存在一种编码，当输入序列长度N足够大时，使译码错误概率任意小。R＞C会怎样呢？指导意义：1.什么做得到，什么做不到？2.评价一个实际信息传递系统的质量的优劣。小结：无失真信源编码定理和抗干扰信道编码定理指明：纠错编码——通过传送一些“冗余”码来克服或减轻噪声的这种影响。把要传送的信息称为主信息。“冗余”码对于主信息而言是多余的，但对于指示信道噪声影响的状态和方式，是非常重要的，把这种“冗余”信息称为传输的可靠性信息或抗干扰信息。Shannon第三编码定理现在考虑确定信源的统计特性时，信道可变的情况下分析。存在最小值——完全失真现在讨论在给定一个失真范围时，存在怎样的一些性质呢？实际上，人们并不需要完全无失真地恢复信息，只是要求在一定保真度下，近似恢复信源输出的信息。例如人类主要是通过视觉和听觉获取信息，人的视觉大多数情况下对于25帧以上的图像就认为是连续的，通常我们只需传送每秒25帧的图像就能满足人类通过视觉感知信息的要求，而不必占用更大的信息传输率。对于人类的听觉，大多数人只能听到几千赫兹到十几千赫兹，即便是训练有素的音乐家，一般也不过能听到20千赫兹的声音。所以在实际生活中，通常只是要求在保证一定质量的前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出的信息到达信宿有一定的失真。对于给定的信源，在允许的失真条件下，信源熵所能压缩的极限理论值是多少？Shannon的重要论文“保真度准则下的离散信源编码定理”论述了在限定范围内的信源编码定理。限失真信源编码的信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛的应用。小结信息传输的目标就是高效率、高质量地传输信息，而高效率和高质量又相互矛盾。这里分析的几个编码定理揭示：通过适当的编码可以把高效率(传输信息的速率无限接近于信道容量)和高质量(传输信息的差错无限接近于零或者失真低于规定的允许值)和谐完美地结合起来。3.可靠通信如图所示是一个离散无记忆信道，信源符号“0”和“1”先验等概率，即有采用最大后验概率准则选择译码规则，即也就是信道输出端收到“0”，则译码为“0”，收到为“1”，则译码为“1”。分析其译码错误概率。在这种译码规则下，平均错误译码概率转变为离散无记忆信道的三次扩展信道的信道矩阵单符号离散无记忆信道的信道矩阵为三次扩展信道的信道矩阵可表示为信道编码传输特性↓差错率↓最小平均错误译码概率↑可靠性信道信息传输率最高能达到什么样的水平？最小平均错误译码概率又能小到什么程度？在有噪声存在的信道上，定义所传递的信息量为：信道容量是平均互信息量的最大值经证明，只有当输入的信源符号为等概率分布时，才能达到信道容量。