[工学]信息论离散信道及其容量.ppt

* * * * * * * * * * * * * * * * 4.5.2 特殊信道的信道容量 无损信道：logr 确定信道：logs 无噪信道：logr =logs 4.5.2.1 无损信道 一个输入对应多个互不 相交的输出，即信道矩 阵的每一列只有一个非 零元素。 由于知道输出之后，必然能够确定其对应的输入是什么，因此信道疑义度H(X|Y)=0。 则I(X;Y)=H(X)-H(X|Y)=H(X) 因此信道容量 C=maxp(x){I(X;Y)}=maxp(x){H(X)}=logr 4.5.2.2 确定信道 一个输出对应多个互不相交 的输入，即信道矩阵的每一行 只有一个“1”，其余元素均为0。 由于知道输出之后，必然能够确定其对应的输入是什么，因此噪声熵H(Y|X)=0。 则I(X;Y)=H(Y)-H(Y|X)=H(Y) 因此信道容量 C=maxp(x){I(X;Y)}=maxp(x){H(Y)}=logs 4.5.2.3 无噪信道 输出与输入是一一对应关系， 即信道矩阵为单位矩阵。 因此信道疑义度H(X|Y)=0，噪声熵H(Y|X)=0。 则I(X;Y) )=H(X)-H(X|Y)=H(X) =H(Y)-H(Y|X)=H(Y) 因此信道容量 C=maxp(x){I(X;Y)} )}=maxp(x){H(X)}=logr =maxp(x){H(Y)}=logs 4.5.3 对称信道 定义4.5.2 信道矩阵的每一行都是其他行的不同排列，则称此类信道为输入对称信道。 定义4.5.3 信道矩阵的每一列都是其他列的不同排列，则称此类信道为输出对称信道。 定义4.5.4 信道矩阵的每一行（列）都是其他行（列）的不同排列，则称此类信道为对称信道。 对称信道的容量 定理4.5.2 若一个离散对称信道有r个输入符号，s个输出符号，则当输入为等概分布时，达到信道容量C，且 C=logs-H(p1’p2’…ps’) 式中，p1’p2’…ps’为信道矩阵中的任一行。 “当输入为等概分布时，达到信道容量C”的含义是最佳输入为等概分布。 对称信道容量的例子 例4.5.2 最佳输入为： 信道容量为： C=logs-H(p1’p2’…ps’)=log3-H(1/2,1/3,1/6) 4.5.7 信源和信道的匹配 信源与信道达到匹配的含义：信源处于最佳输入分布，使得信息传输率R达到了信道容量C。 但通常情况下，让信源处于最佳输入分布并不容易，此时信道有剩余： 信道剩余度=C-I(X;Y) 信源编码的目的就是通过编码，改变原始信源的统计特性，使得信道剩余度尽可能小。 原始信源 信道 不匹配 原始信源 信道 信源编码 基本匹配 本章小结 信道：PX,PY|X。 离散无记忆信道：一维（单符号） 信道疑义度：H(X|Y)；噪声熵：H(Y|X)。 平均互信息：I(X;Y)。 串联信道：数据处理定理。 信道容量 对称信道： C=logs-H(p1’p2’…ps’)，最佳输入为等概分布。 * * * * * * * * * * * * * * * * * * * * * * * 第4章 离散信道及其容量 通信系统模型 信息论的研究基础是通信系统模型。 4.1 信道的数学模型及其分类 信道是信息传输的通道。 由于干扰的存在，信道的输出Y与信道的输入X不完全相同，用条件概率p(y|x)描述。 而输入和输出又有各自的统计特性，分别用 和表示。 第3章介绍有记忆信源的时候用到了条件概率，现在又用到了条件概率，两种情况下条件概率所表达的含义相同吗？ 不同 信源：表示前后输出的符号之间的关联关系 信道：表示传输时发生错误的情况，或者说干扰的情况 信道的分类 根据输入输出事件的时间特性 离散信道：GSM 连续信道：有线电视、广播 根据输入输出个数 两端信道（单路信道）：电话 多元接入信道：信道的复用 广播信道：广播 根据统计特性 恒参信道：信道的统计特性不随时间发生变化。 随参信道：信道的统计特性随时间发生变化。 根据记忆特性 无记忆信道：信道的输出仅与当前的输入有关，与以前的输入无关。 有记忆信道：信道的输出不仅与当前的输入有关，与以前的输入也有关系。 一些特殊信道 无损信道：输出可以决定输入，即知道了信道的输出符号，能确切判断出它对应的输入符号是什么。 确定信道：输出完全由输入决定，即输入符号一旦定下来，信道的输出是确定的。 无噪信道：既是无损信道，又是确定信道。输出能决定输入，输入也能决定输出。现实生活中很少存在这样的信道。 无用信道：输入与输出相互独立，没有任何关系。 4.2 离散无记忆信道 离散信道的输入序