动态测试与数据处理 3信息论基础知识.pptVIP

动态测试与数据处理 重庆交通大学机电与汽车工程学院 第三章 信息论基础知识 学习要求 1.了解信息的含义、作用　　　 2.掌握信息定量描述的方法——信源模型 与信息熵 3.掌握信息最大熵定理 3.1 信息与信息技术 信息论是信息科学和技术的理论基础，是运用数理统计方法研究信息的获取、变换、传输与处理的科学。 3.1 信息与信息技术 信息是事物运动的状态和方式。 测试中，信息是对数据进行处理以后用作决策的有用的基本事实或数据。 信息是信号与消息的更高表达层次。 一、 信息的定义 从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。 3.1 信息与信息技术 二、信息的作用 信息描述了客观事物变化的时空特性，向人类提供的是无穷无尽的知识和智慧。 1. 信息是一种资源 三者是物质世界的三大支柱，相辅相成； 物质使系统具有形体，能量使系统具有动力，信息附于物质和能量，但又不同于物质和能量，使系统具有“灵魂”。 2. 物质、能量、信息三者的关系 3. 信息的基本性质 可以识别、转换、存贮、传输，可以共享，永不枯竭。 3.2 信息论与广义通信系统 3.2 信息论与广义通信系统 信息论是应用数理统计方法研究信息传输与处理的新兴科学。源于通信工程，始于20世纪40年代，60年代信息论引入工程测试领域。 一、信息论的基本概念 找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、必威体育官网网址性和认证性，达到信息传输系统最优化。 信息论研究的内容和目的 3.2 信息论与广义通信系统 （2）有效性：就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。 （3）必威体育官网网址性：就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。 （4）认证性：是指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。 （1）可靠性：使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 3.2 信息论与广义通信系统 二、广义通信系统 信 源 发信器 (编码器) 信 道 信 宿 噪声源 受信器 (译码器) 信 源（Information source）：信息的来源； 发信器（Transmitter）：把信息变换成信号； 信 道（Channel）：传递信号的媒介； 受信器（Receiver）：把信道输出的信号反变换； 信 宿（Destination）：信息的接受端； 噪 声（Noise）：信道中的干扰。 3.3 信息的定量描述——信源模型与信息熵 3.3 信息的定量描述 信源一般以符号（或信号）的形式发出信息。 对于工程物理系统，信源就是所研究的客观事物或物理过程。 一、信源 信源的输出是随机的。收信者在未收到信息以前，对信源发出什么样的消息是不确定的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。 不同信源根据其输出信息的不同的随机性质进行分类。 3.3 信息的定量描述 二、离散信源模型 用离散型联合概率分布空间描述： 集合 X 描述该信源所有可能输出的状态，集合 P 描述对应各状态出现的概率，状态的出现往往是不相容的，各个状态输出概率总和应该为1。 例：掷硬币 3.3 信息的定量描述 三、自信息 自信息是事件xi发生时所含有的信息量。 信源出现的状态是随机的、不确定的，其不确定性与事件发生的改良有关，所测试的系统的不确定性即包含着信息量。 自信息应该是该事件发生的先验概率的函数： ——信息的定量描述 （2） 时， ，必然事件信息量为零； （3） 时， ，不可能发生的事件发生了， 其信息量为无穷大； （4）两个独立事件的联合信息量 应等于它们各自信息量之和。 根据客观事实和人们的习惯概念，应满足以下条件: （1） 应是先验概率 的单调递减函数，即 越大，确定性越大，信息量越小； 3.3 信息的定量描述 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特，通常取比特为单位。 的含义： （1）事件xi发生前，表示事件xi发生的不确定性； （2）事件xi发生前，表示事件xi含有的