信息论--信源及信源的不确定性.pptVIP

二、平均互信息量的物理意义 三、离散平稳信源的信源熵和极限熵 原始信源：一次发一个消息符号 N次扩展信源：一次发一个消息序列/信号序列 （N个消息符号） 有记忆信源：原始信源消息间有相关性 无记忆信源：原始信源消息间无相关性 平稳信源：信源的概率空间不随时间变化 非平稳信源：信源的概率空间随时间变化 无记忆N次扩展信源的信源熵 二、理想通信系统的最大传信率和错误概率 在信道为高斯白噪声信道时，如果发送信号的平均功率为P，信道中噪声功率为N，信道带宽为W，则信道容量为： 二、卷积码的生成矩阵 总 复 习 一、概论 理解消息、信号和信息的基本概念和相互联系，理解信息的特性和分类，了解信息的分类 理解通信系统的基本模型、通信方式 理解通信系统的有效性、可靠性、必威体育官网网址性和认证性 了解信息论的研究范畴 二、基本信息论 掌握信源不确定度和信息度量，掌握离散信源的熵，理解其性质，了解加权熵 掌握平均互信息量及其计算方法，理解其物理意义和性质 理解二元联合信源的共熵、条件熵及两者之间的关系，理解平稳信源的信源熵和极限熵 掌握马尔可夫信源熵的计算方法 掌握信源冗余度 理解连续信源的相对熵，理解三种连续信源的最大熵，理解熵功率 掌握信息速率和信道容量的概念，掌握离散有噪信道的熵速率，理解可疑度的物理解释，掌握连续有噪信道的信道容量 了解三种多用户信道模型及其信道容量 理解信源编码原理，理解等长编码和变长编码 掌握山农费诺编码、哈夫曼编码和L-D编码方法 三、理想通信系统及其分析方法 了解信号的多维模型，了解理想通信系统编码定理的证明 掌握山农公式，掌握理想通信系统的信噪比、带宽和时间的互换关系，掌握扩频通信原理 理解理想通信系统的实现方法 了解理想接收机的译码原理 掌握等长二元码的相关系数和自相关系数 掌握狭义伪噪声码 了解伪噪声码通信原理 四、抗干扰二元编码原理和方法 掌握最小码矩及其检纠错能力的关系，理解抗干扰编码的基本原理 掌握奇偶校验码、定比码的原理，理解其漏检概率，了解ARQ系统 掌握纠正一位错误的汉明码和循环码 掌握用移位寄存器实现循环码编码器和译码器 掌握卷积码编码原理，理解其编码器的实现，理解序列译码方法 理解纠正突发错误的编码方法 18、已知（4，3，3）卷积码的基本监督矩阵： 若输入信息码元为:101100110111…，则编码后的卷积码字为 。 答：1010，1001，1100，1111，… * * * 本章学习内容 信源不确定度和信息度量，离散信源的熵及其性质，加权熵 平均互信息量的定义、计算方法、物理意义和性质 二元联合信源的共熵、条件熵及两者之间的关系，平稳信源的信源熵和极限熵 马尔可夫信源的概念及其信源熵的计算 信源冗余度的定义 连续信源的相对熵，三种连续信源的最大熵，熵功率 * 信息速率和信道容量的概念，离散有噪信道的熵速率，可疑度的物理解释，连续有噪信道的信道容量 三种多用户信道模型及其信道容量 信源编码原理，等长编码和变长编码 常用的信源编码：山农费诺编码、哈夫曼编码和L-D编码 * 2.1 信源及信源的不确定性 实际有用的信源应具有不确定性 信源的不确定性：信宿对信源某时刻发送哪个消息不能确定。 * 信源的不确定程度与其概率空间的消息数及其概率分布有关 信源的消息为等概率分布时，不确定度最大 信源的消息为等概率分布且其数目越多，其不确定度也越大 只发送一个确定的消息的信源，其不确定度为零 * 三、信息度量 也表示通信发生前，信源发送消息 的不确定度。 即信源的非平均不确定度 表示信源发出一个消息 所含有（或所提供）的非平均自信息量 信源消息 的自信息量： * 条件自信息量 信宿接收到消息 后，对信源发送消息 尚存的不确定度。 * 交互信息量 信宿收到消息yj后所获得的关于xi的信息量 =收到消息yj后关于xi的不确定性减少的程度 =关于xi的先验不确定度–收到消息yj后对xi尚存的不确定度 * 四、离散信源的熵 离散信源：仅输出有限个消息的信源 离散信源的熵： 物理意义： -概率空间中每个事件（消息）所含有的自信息量的数学期望 -信源的平均不确定度（输出消息前） 信源输出一个消息所提供的平均信息量（输出消息后） * 若信源的N个消息等概率分布：p=1 / N，则信源熵： 条件熵 -联合概率空间XY上的条件自信息量的数学期望 -信宿收到消息集Y后对信源X尚存的平均不确定度 * 五、熵函数H(X)的性质 1、非负性 2、确定性 3、熵函数H(X)是p(x)的连续函数 只要有一个消息出现的概率为1，则信源的不确定度为0，信源熵为0 。 * 4、熵函数H(X)具有极