关于信息率失真函数.docVIP

关于信息率失真函数中平均失真度范围的讨论 摘要： 信息率失真函数是在给定信源且又具体定义了失真函数的条件下，信源传输给收信者的信息率的下限值。本文将着重讨论关于信息率函数中平均失真度的范围，R(D)是一个非负函数，其定义域为[0,]；其值域为[0,H(X)]。其中，当=0时，表示信源不允许任何条件的失真存在，一般直观的理解就是，若信源要求无失真地传输，则信息传输率至少应等于信源输出的信息量----信息熵，即R（0）=H（X）。但是，该式能否成立是的条件的，它与失真矩阵的形式有关，只有当失真矩阵中每行至少有一个零，并且每列最多只有一个零时，才能成立。否则可以小于，它表示这时信源有一些可以压缩，合并，而不带来任何失真。 关键字： 信息率失真函数，试验信道，失真度 一、信息论的形成和发展： 信息论是通信的数学理论，是应用近代数理统计方法研究信息的量度，编码和通信的科学。信息论是20世纪中叶从通信中发展起的理论，是数学中的概率论与通信论技术相结合的边缘学科。 信息论自诞生到现在不过40多年。这在人类的历史长河中是十分短暂的，但它提诞生和发展对科学技术的影响是深刻的。1924年，奎斯特解释了信号带宽和信息率之间的关系，他将信息率和带宽联系了起来；1928年，哈特莱引入了非统计信息量概念，他提出信息量可能等于消息数和对数；1936年，阿姆斯特朗提出在传输过程中增大带宽可以增强抑制干扰的能力，根据这一思想他提出了宽频移的频率调制方法；20世纪40年代初期，由于军事上的需要，维纳把随机过程和数理对床夜雨的观点引入通信和控制中来，揭示了信息传输和处理过程的本质，这就使得通信系统的理论的研究引起了质的飞跃，取得了突破性的进展；1948年，香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章，在这两篇文章中他用概率测度和数理统计的方法，系统地讨论了通信的基本问题，得出了几个重要的而带有普遍意义的结论，并由此奠定了现代信息论的基础；从20世纪50年代开始，信息论在学术界引起了巨大的反响；1959年，香农发表了“保真度准则下的离散信源编码定理”，系统地提出了信息率失真理论；20世纪70年代以后，卡拉思等人发展了信息过程理论；在此以后，人们从经典的香农单向通信的信息论推广到多用户的信息理论。 现在信息理论与技术不仅直接应用于通信、计算机和自动控制等领域，而且还《广泛 在实际生活中，通常总是要求在保证一定质量的前提下，在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。无失真信源编码定理也叫做香农第一定理和有噪信道编码定理表明：无论是无噪信道还是有噪信道，只要信息传输率R小于信道容量C，总可以找到一种编码方法，使得编码后的信息传输率R′可以任意接近信道容量C（即R′→C），且由于信道产生的错误译码概率任意小。反之，如果R＞C，在任何信道上都有不可能实现错误译码概率任意小的无失真的传输，或者说，要实现错误译码概率任意小，在任何信道上传输都必然产生失真。 二、信息与通信建立模型 三、平均失真度的取值范围 1 信息率失真函数 要研究信息率失真函数的具体性质，我们首先要弄清什么是信息率失真函数？下面我将向大家介绍一下信息率失真函数的定义 在信源给定，且又具体定义了失真函数以后，我们总希望在满足一定的失真条件下，使信源必须传输给收信者的信息传输率R尽可能的小。也就是说在满足保真度准则(≤D)下，寻找信源必须传输给收信者的信息传输率R的下限值。这个下限与D有关，若从接收端来看，就是在满足保真度准则（≤D）下，寻找再现信源消息所必须获得者的最低平均信息量。而接收端获得的平均信息量可以用平均互信息量来I（X,Y）表示这就变成了在满足保真度准则的条件下，寻找平均互信息量I（X,Y）的最小值。而是所有满足保真度准则的试验信道集合，因而可以在D失真许可的试验信道集合是寻找某一个信道P(︱)使I（X,Y）取极小值。由于平均互信息量I（X,Y）是P(︱)的U型函数，所以在集合中，极小值存在。这个最小值就是在满足保真度准则（≤D）的条件下，信源的必须传输的最小平均信息量。即 R(D)= min {I(X;Y)} 这就是信息率失真函数或简称率失真函数。它的单位是奈特/信源符号和比特/信源符号。 研究信息率失真函数是为了解决在已知信源和允许失真度D条件下，使信源必须传输给用户的信息量最小。这个问题就是在一定的失真度D条件下尽可能用最小的码符号来传输信源消息，使信源的消息尽快的传达室输出去，以提高通信的有效性。 它们之间的关系可归纳成如下表所示。 信息传输理论和率失真理论的对偶关系 信息传输理论 率失真理论 附 属 信道 P=[p(y︱x)] 失真测度 d(x,y) 信源 P=(p(x)) 固定 信源 P=(p(x)) 信道 P=