第六章 信道编码要点.ppt

第6章 信道编码 信道有关概念回顾 信道模型 1．离散信道的数学模型 根据信道的统计特性即条件概率P(y|x) 的不同，离散信道可以分为三种情况： （1）无干扰信道 （2）有干扰无记忆信道 （3）有干扰有记忆信道 2．单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于{a1, a2, …,ar}，输出变量为Y，取值于{b1, b2, …, bs}，并有条件概率(信道的传递概率) ：P(y|x)= P(y=bj|x=ai) = P(bj |ai) (i=1,2,···,r；j=1,2, ···, s) 模型： 一般离散单符号信道的传递概率可用以下形式的矩阵来表示(信道转移概率)： 并满足式 。 定义6.1 已知发送符号 ai ，通过信道传输接收到的符号为 bj 的概率 P(bj|ai)称为前向概率。已知信道输出端接收到的符号为 bj，而发送符号为 ai 的概率P(ai|bj)称为后向概率。 有时，也把 P(ai)称为输入符号的先验概率(即在接收到一个输出符号以前输入符号的概率)，而对应地把 P(ai|bj)称为输入符号的后验概率(即在接收到一个输出符号以后输入符号的概率) 。 信道疑义度和平均互信息 1. 先验熵 信道输入信号X 的熵 H(X) 是在接收到输出Y 以前，关于输入X的先验不确定的度量，称为先验熵。 如果信道中无干扰（噪声），接收到传送过来的符号后就消除了对发送符号的先验不确定性。 但一般信道中有干扰存在，接收到输出Y 对发送的是什么符号仍有不确定性。 2. 信道疑义度(条件熵) 信息疑义度表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性(即存在疑义)。 这个对X 尚存在的不确定性是由干扰(噪声)引起的。 如果是一一对应信道，那么接收到输出Y 后，对X 的不确定性将完全消除，则信道疑义度 H(X|Y)=0。 3. 平均互信息 定义6.3 称 I(X;Y)= H(X)-H(X|Y) 为X 和Y 之间的平均互信息。 平均互信息表示接收到输出符号Y 后平均每个符号获得的关于输入变量X 的信息量。 经过推算得出： 其中X是输入随机变量，Y是输出随机变量 平均互信息用于表示传输信息率。 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 描述编码 用于对特定数据信号的描述 约束编码 用于对特定信号特性的约束 扩频编码 用于扩展信号频谱为近似白噪声谱并满足某些相关特性 纠错编码 用于检测与纠正信号传输过程中因噪声干扰导致的差错 当码字c和接受向量R均由二元序列表时，称编码信道为二进制信道. c=(c0,c1,…cn-1) 如果对于任意的n都有： p(r/c)=∏p(ri/ci) 则称此二进制信道为无记忆二进制信道。 p(0/1)=p(1/0)=pb 则称此信道为无记忆二进制对称信道，简称BSC. 6.1.3 检错与纠错的基本原理 为了使原信息能正确地传送到接收方，可以在信息传送前进行一次抗干扰编码(即检错编码与纠错编码)，再传送抗干扰编码后的数字信息。检纠错是根据信道输出序列r来判断是否可能是发送的c，或纠正导致r不等c的错误。 冗余编码：为了实现检纠错,所以码字c的长度n一定大于消息m的长度k。 如: 例6.3 恒比码方法： 先给出汉明距离的概念: 定义: 设X=(x1,x2,…,xn)，Y=(y1,y2,…,yn)，xi?F2，yi?F2，i=1,…,n，称 X 和 Y 对应分量不相等的分量个数为X 和Y 的汉明(Hamming)距离，记为d(X, Y)。 定理: 设 X 和Y 是长为 n 的二元码字，则 （1）0≤d(X, Y)≤ n （非负且有界性） （2）d(X