第一章节：概论幻灯片.pptVIP

信息论的奠基人之一香农从通信工程的角度对信息解释为:用来消除不确定性的东西,指的是有新内容 或新知识的消息; 控制论的奠基人维纳对信息的解释为:信息就是信息,不是物质,也不是能量;  香农的两大贡献： 一、信息理论、信息熵的概念 二、符号逻辑和开关理论 关于shannon(香农) * 在香农信息论中数学推导的意义 思维方法，严谨性，不等式的运用 * 串行级联码（内码－交织－外码） 并行级联码（Turbo Code) 编码调制 （TCM） 低密度校验码（LDPC） 是目前纠错能力最强的一种编码（目前已经做到距离Shannon限0.0045dB)； 采用并行的和积译码方法，译码延时和复杂度很低； 码字本身就随机化，在和信源级联时不需要交织器。 信 息 论 基 础 课程概况 目的： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 特点： 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用 参考书目 付祖云， 朱雪龙，“应用信息论基础”，清华大学出版社 吴伟陵，“信息处理与编码”，人民邮电出版社 王育民等， “信息与编码理论”，西电出版社 周炯槃，“信息理论基础”，人民邮电出版社 McElice, The Theory of Information Coding Proakis, Digital Communication Viterbi, Principle of Digital communication Coding 其它有关事项 讲课:（概念、方法） 自学:（数学推导、定理证明） 考试：基本概念，基本计算。 联系方式： Email:wintermeizi@126.com Phone：0597－2800591 欢迎提出各种问题、意见和建议 是否学过信息论、信源/信道编码或密码学等，程度如何？ 希望重点讲什么？ 希望哪些可以简略？ 希望增加哪些内容？ 对授课方式有什么意见和建议？ 第一章：概述 信息、信息科学与信息论 信息论研究的对象、目的和内容 信息论发展简史与现状 信息论的形成与发展 信息论方法的应用及其取得的成果 1.1信息理论的基本内容 Inform—information “某人被通知或告知的内容、情报、消息” －－牛津英文字典 广义的信息———信息的形式、内容－－最广泛意义 技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义 统计信息－－信息表达形式中统计方面的性质－－明确定义的科学名词 －－与内容无关、独立于形式 什么是信息？ 信息、信息科学与信息论 信息、信息科学与信息论 IT --- 计算机所涉及的各种各样的技术 －－优点：笼统、不明确 适应－种类繁多、不断发展 统一的、全面的、高层次的 什么是信息技术？ 信息、信息科学与信息论 出现于图书馆学－－研究图书文献的检索 计算机出现后－－新的含义 不同国家－－含义不尽相同 发展和长远的观点－－能与信息技术相对应的基础科学 什么是信息科学？ 信息、信息科学与信息论 信息论－统计信息理论 四十年代末期C.E.Shannon(克劳德香农)，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 统计信息理论局限性－－不能解决一些问题 如：人工智能中启发式 有哪些信誉好的足球投注网站和学习 发展的观点－－信息科学所不可缺少的理论 基石 什么是信息理论？ 信息、信息科学与信息论 在通信中对信息的表达分为三个层次：信号、消息、信息。 信号/信源：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 信源分类:自然信源,社会信源,知识信源 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 1)??? 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1…Ul…UL) 2)??? 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间