第7章网络信息理论简介.pptVIP

第7次课（上次课的回顾）2009年4月12日 简要说明连续信源的熵的主要特性。 冯宏星，潘勇 说出信源消息为均匀分布、高斯分布和指数分布时信源的熵。 高晨，潘敏 简述峰值功率受限条件下信源的最大熵定理。任杰，翟大伟 简述平均功率受限条件下信源的最大熵定理。贺秀春，金毅 简述均值受限条件下信源的最大熵定理。 肖俊，蒲盟 6. 简述白色高斯噪声的定义。 印芷漪，张耀华 7. 给出香农公式，说明其含义。 丁佳佳，金涛 8. 简述理想接收机的工作原理，并阐述为什么说理想接收机只有对数字通信才有实际的意义。 吕登伟，王海 香农的信息理论对两个信源、两个信宿所组成的最小通信网中的信息传输作出了详尽的分析。 通信网的拓扑结构和通信方式趋于多样化。基于单信源、单信道的信源编码与信道容量理论已无法回答此类通信网中信息的有效表示与信道的充分利用问题，信息论的研究工作开始逐渐转向网络信息理论领域。 网络信息理论的主要问题是冲突、协作和反馈，这些问题的研究包括分布式信源编码（数据压缩）以及分布式通信（确定网络的覆盖能力）。 这些问题目前尚未解决，本章仅对一些特殊情况进行研究。 定义7.1 具有多个输入端和多个输出端的信道称为多址信道(MAC) 。对于数字通信，是指包含有编码器、译码器的等效信道。 多址接入是用时分、频分或码分等方法将一个物理信道分成若干独立的子信道来实现的，因此，各输入信号被局限在某种互不相交的子空间内 。例如： 频分多址 (FDMA ) 时分多址 (TDMA ) 码分多址 (CDMA ) 空分多址 (SDMA ) 在各种通信系统中，多个输入X1 , X2 , · · · , XN可以是统计独立的，也可能是彼此相关的。 定义7.2 二元接入信道是指有两个输入信源、一个信宿的多用户信道，即双输入单输出信道。如图7.2所示。 设信源X1, X2送给信道的码字分别为W1, W2 ，信宿端译码不是W1, W2的概率为Pr[Y?(W1, W2 )| (W1, W2 )] ，则 [( 　　 ), n]码的平均错误概率为: （1）R1, R2的限制条件 由W1传至 的信息率用R1表示，它就是从Y中获取的关于X1的平均信息量，即 R1 = I (X1, Y) (7.2) 若X2已确知，则可排除X2引起的对于X1传输的干扰，使R1达到最大，即可有 现在的情况是两个输入均在信道上传递，故有 R12 = I ( X1X2; Y) = H (Y)-H (Y| X1X2 ) (7.9) 令 则 R12 ? C12 (7.11) （2）C12和C1、C2的关系 定理7.1 设二元接入信道的信源输入为已编码消息集合X1、X2，对应它们的信道容量为C1、C2，二元接入信道的信道容量为C12，则C12的下限值是C1和C2中的较大者。 把二元信道扩展到N个输入端的情况，即假设有N个用户，N个编码器。设第r个编码器输出的信息率为Rr ，相应的信道容量为Cr ，则 定义7.5 若二元接入信道的两个输入信源X1和X2相互统计独立，并且是取值于整个实数轴的连续随机变量，信道噪声是加性白色高斯噪声，输出端的随机变量Y在时刻i，有Yi =X1i + X2i + Zi，{Zi}是均值为0、方差为N的高斯随机变量，则称这样的信道为高斯加性二元接入信道。 当输入有n个信源且相互统计独立、信道噪声仍是加性白色高斯噪声时，称这样的信道为高斯加性多元接入信道，或称为高斯多址信道。可见，高斯二元接入信道是高斯多址信道的简单情况。 前面的分析均假设输入信源统计独立，但在实际中往往它们相互关联。 例7.4 如图所示的具有相关信源的通信系统，若H(X1), H(X2)和H(X1X2)为已知，求R1, R2的制约关系。 一方面，I (X1X2; W )表示W获取的关于X1、X2的联合符号集的平均信息量，X1、X2的关联性越强，I (X1X2; W )越接近I (X1；X2)； 另一方面，如果通过对CH-0 的设置，使X1、X2的关联性变成X1 ～W及X2 ～W之间的关联性，则有 P (X1; X2 |W ) = P(X1|W ) P(X2|W )。因而变更W，也能使I (X1 X2; W） 接近于I (X1; X2 )。 定义I0 (X1; X2 ) = min{I (X1X2; W )}为X1, X2的“公信息”，其中W为最小公信息。