第一章：信息论 【课程教案】.pptVIP

信 息 论 课程概况 目的： 了解学习信息论的作用、方法与意义，对信息论的研究方法和成果有广泛的基本认识，学会应用，为进一步研究打下基础 特点： 以信息理论为中心，区别与“信源编码”、“信道编码” 以概念和物理意义为主，数学推导尽量放到课外 结合通信系统实际应用 教学计划 参考书目 其它有关事项 讲课:（概念、方法） 自学:（数学推导、定理证明） 考试：基本概念，基本计算。 联系方式： email:yangjie@bit.edu.cn Phone8006 欢迎提出各种问题、意见和建议 是否学过信息论、信源编码或信道编码，程度如何？ 希望重点讲什么？ 希望哪些可以简略？ 希望增加哪些内容？ 对授课方式有什么意见和建议？ 第一章：信息论与信息论方法概述 信息、信息科学与信息论 信息论研究的对象、目的和内容 信息论发展简史与现状 信息论的形成与发展 信息论方法的应用及其取得的成果 信息、信息科学与信息论 Inform—information “某人被通知或告知的内容、情报、消息” －－牛津英文字典 广义的信息———信息的形式、内容－－最广泛意义 技术术语的信息－－表达信息所用的形式或载体－－具体但无确切定义 统计信息－－信息表达形式中统计方面的性质－－明确定义的科学名词 －－与内容无关、独立于形式 信息、信息科学与信息论 IT --- 计算机所涉及的各种各样的技术 －－优点：笼统、不明确 适应－种类繁多、不断发展 统一的、全面的、高层次的 信息、信息科学与信息论 出现于图书馆学－－研究图书文献的检索 计算机出现后－－新的含义 不同国家－－含义不尽相同 发展和长远的观点－－能与信息技术相对应的基础科学 信息、信息科学与信息论 信息论－统计信息理论 四十年代末期C.E.Shannon，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。 统计信息理论局限性－－不能解决一些问题 如：人工智能中启发式 有哪些信誉好的足球投注网站和学习 发展的观点－－信息科学所不可缺少的理论 基石 信息、信息科学与信息论 在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 1)??? 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1…Ul…UL) 2)??? 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 信息、信息科学与信息论 关系： 信息---可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 信号--则是抽象信息在物理层表达的外延； 消息--则是抽象信息在数学层表达的外延。 同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷； 同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述； 同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断 与通、低与高(电平)等等。 信息论研究的对象、目的和内容 信息论的研究范畴 信息论研究的对象、目的和内容 统计信息论对象—信息传输系统 信息论研究的对象、目的和内容 ?? 统计信息论—Shannon信息论（本课程的主要内容） 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统 理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。 研究内容： 1)??? 信源的描述，信息的定量度量、分析与计算。 2)??? 信道的描述，信道传输的定量度量、分析与计算。 3） 信源、信道与通信系统之间的统计匹配，以及通信系统的优化。 ——Shannon的三个编码定理。 信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。 信息论研究的对象、目的和内容 系统优化的