《信心论1.pptVIP

四.香农理论的局限性 “要知道，企望一次就能揭开自然界的全部奥秘是不切实际的” 。 香农对自己的理论的局限性有清醒的认识，1952年他说： “ 信息论肯定不是通信工作者的灵丹妙药，对于其他领域的人更是如此。实际上，信息论在核心本质上是数学的分枝，是一个严密的演绎系统。信息论的基本结果都是针对某些特殊的问题，他们未必适合于象心理学，经济学其他以及一些社会科学。” Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Shannon Theory dead or alive Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 信息论的主要贡献 把统计信息定义为“用来消除信息接收者某种认识上的不定性的东西”，并给出了其度量公式：熵和互信息； Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 建立了一些重要的性能界： 信源输出的最大可能的信息量 满足一定失真度的要求所必须传递的 最小信息量 信道最大可能通过的能力等 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段发展到科学高度。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 五.知识要点 掌握信息论的基本概念：熵、互信息和鉴别信息。 了解信息论针对信息传输、存储及压缩的基本理论。 了解信息准则取代最小二乘（均方差）准则作为信息工程的普遍准则，掌握其应用方法。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 六.参考书目 朱雪龙，应用信息论基础。清华出版社，2001年。 傅祖芸，信息论—基础理论与应用。电子工业出版社，2001年。 周炯槃，信息理论基础。人民邮电出版社，1983年。 沈连丰 等，信息论与编码，科学出版社，2004年 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. BIBLIOGRAPHY Cover Thomas M, Thomas Joy A. Elements of Information Theory. John Wiley and Sons.Inc.,1991. Roman Steven. Coding and Information Theory. New York: Springer-Verlag,1992. McEliece Robert J. The Theory of Information and Coding: A Mathematical Framework for Communication. Addison Wesley Publishing Company, 1977. Sergio Verdu. Fifty Years of Shannon Theory. IEEE Tran.on Inf. Theor