信息论及编码-精.ppt

信息论及编码 电子与通信工程系 余 萍 E-mail：well_yp@ 第一章 绪论 1.1 信息的定义与性质 1.2 信息论的主要研究内容与发展途径 1.3 信道编码的研究内容与发展简史 1.4 信源编码的研究内容与发展简史 1.5 本课程的主要内容 1.6 参考书 1.1 信息的定义与性质 一、什么是信息？ ①消息不完全是信息；②信号不等于信息 维纳：信息就是人和外界互相作用的过程中互相交 换的内容名称。 香农：信息是用来消除不定性的东西（即信息是熵 的减少）。 朗格：信息是事物之间的差异，而不是事物的本身。 信 息 的 定 义： 从纯客观的角度：信息为事物运动的状态和方式（事物泛指一切范畴的事物，如物质和精神）。 从认识论的角度：信息是关于事物运动的状态和方式的广义知识。 信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。 二、信息的性质 信息是一种资源，信息向人类提供无穷无尽的知识 和智慧，是生命的资源。信息具有的特殊性质： （1）信息是无形的； （2）信息资源可以“无限共享”； （3）信息资源具有“永不枯竭”的性质； （4）信息具有“开发和驾驭”的能力； （5）信息是可度量的。 五、信 息 的 表 示 设：X：某个事物； I(X)：X所具有的实在信息 R：某个观察者 I0(X;R)：R在观察X之前已经具有的关于X 的信息，即R关于X的先验信息。 通常，I0(X;R)在0～ I(X)之间 R在观察X的过程中，实际获得的信息量为： I(X;R) ＝I(X) －I0(X;R) 若I(X;R)＝0，并不表示事物X没有信息，只说 明观察者得实得信息量等于0。 要区分“实得信息为零”和“实在信息为零”两个 不同概念。实在信息是最基本的概念，而实得 信息却是最有用得概念。 1.2 信息论的主要研究内容与发展途径 一、信息论的主要研究内容 1、通信的统计理论的研究 －主要研究利用统计数学工具分析信息和信息传输的统计规律，内容包含： （1）信息的度量；（2）信息速率与熵； 研究信源所包含的信息量（熵），单位时间 内信源发出的信息量（时间熵） （3）信道传输能力（信道容量）； 2、信源的统计特性 包括：（1）文字、字母统计特性； （2）语音的参数分析和统计特性； （3）图片及活动图像的统计特性； （4）其它信源的统计特性。 3、收信者接收器官的研究 包括：（1）人的听觉和视觉器官的特性； （2）人的大脑感受和记忆能力的模拟。 研究无扰和有扰信道上信宿能收到的信息量的多少 6、抗干扰理论与技术的研究 包括：各种调制制度的抗干扰性、理想接收机的实现 7、噪声中信号检测理论与技术的研究 包括：信息检测的最佳准则、信号最佳检测的实现 （检测与估值理论） 二、 信息论的发展途径 1、一般信息论（微弱信号检测理论或维纳理论） 维纳认为：信息只有当它受到噪声干扰时，才需要进行处理。 维纳着重研究自动控制过程中的信号预测问题， 即干扰作用下信号的最佳接收问题，是通信、雷 达、导航、遥测、遥控及电子对抗等技术的理论 基础。 2、侠义信息论（香农信息论） 香农认为信号在通过噪声信道的前后都需要进 行处理。 香农研究信源和信道的统计特性及其编码方法，以 提高信息传输的效率和可靠性，它是通信理论的基 础。 维纳和香农探讨的数学模型有很大不同，但两种模 型的最终目的都是在接收端逼真地重现原信号。 1. 3 信道编码的研究内容与发展简史 1. 4 信源编码的研究内容与发展简史 1. 5 本课程研究内容－仙农信息论及编码 1.6 参考书 第二章 信源和信息熵 2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 离散平稳信源的熵 2.4 连续信源的熵 2.1 信源的数学模型及分类 通信系统模型及信息传输模型： ? （2）信源发出的符号间彼此是否独立： 无记忆信源：随机矢量的各分量相互独立 有记忆信源：随机矢量的各分量不相互独立 表述有记忆信源比无记忆信源困难的多，实际中，信 源发出的符号往往只与前若干符号的依赖关系强，与 更前面的符号依赖关系弱，这类信源可用马尔可夫信 源表示。 不同统计特性的信源可用随机变量、随机矢量以及随 机过程描述其输出的消息。 2.2 离散信源的信息熵 一、信息量和熵 信息的度量应符合实际情况： 出现概率小的随机事件，不确定性大，信息量大； 出现概率大的随机事件，不确定性小，信息量小； 概率为1