通信原理信息论初步概述.pptVIP

第2版;第二章;2.1 信息论的两条发展途径 ;研究对象;2.2 信息论研究的主要内容 ;◆ 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则。 ;2.3 信息的对数量度 ;2.3.1 互信息量;情况;随机事件的不确定性（或不肯定性） ;互信息量的三个特征 ;;◆ 条件熵：二维联合空间XY上的条件自信息量的概率加权平均值。 ;◆ 共熵：(又称联合熵)是联合空间XY上的每个元素对xy的自信息量的概率加权平均值。 ;;2.3.4 平均互信息量;And;2.4 离散信源与连续信源 ;2.4.1 离散信源 ;例2.1;◆ 信源的条件平均信息量为： ;◆ 当离散信源中各符号等概率出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。 ;2.4.2 连续信源 ;2.4.3 信源编码 ;◆ 正规编码器：能把信源发出的所有消息一一对应地变换成相应代码组的信源编码器，不会损失能量。 ;设;◆ 编码效率：信息传输速???R与信道容量C的比值。 ;2.5 信道容量与香农公式 ;2.5.1 无扰离散信道的信道容量 ;2.5.2 有扰离散信道的信道容量 ;◆ 具有L种消息的有扰离散的对称信道，其信道容量为： ;在给定信道输入消息概率分布 的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者。 通常使用的最佳译码方案是按照后验概率最大的译码准则设计的，这个准则又称为最大似然判决准则。;2.5.3 有扰连续信道的信道容量 ;2.5.4 香农公式 ;◆ 结论4： 信道容量C一定时，带宽B和信噪比S/N可以互换。 ◆ 结论5： 若信源的信息速率R小于或等于信道容量C，则理论上可以实现无差错传输。若信息速率R大于信道容量C，则不可能实现无差错传输。 ;香农公式曲线 ;2.6 信道编码 ;2.6.1 香农第二定理;2.6.2 编码方法;2.6.3 检错与纠错;检错编码;纠错编码;纠（检）错能力的几何解释 ;3）如果码集中码字间的最小码距满足 ，则该码集中的码字具有纠正t个错码，同时检测e个错码的能力。;