信息论与编码全部课件摘要.ppt

6.3 线性分组码 分组码的性质： （1）线性：假设C1与C2是(n,k)分组码中的两个码字，令 是从字符表中任意选择的两个元素，则当且仅当 也是一码字时，分组码是线性分组码。 一个线性码必定包含全零的码字，一个固定码重的码是非线性的。 * 6.3 线性分组码 （2）系统性：若一个码字，它前面的若干比特等同于信息比特，剩余的比特是这些信息比特的线性组合，则称之为系统码。 对一个(n,k)分组码，其前面k个比特等同于信息比特，并且每个码字的剩余n-k比特是k个信息比特的线性组合。 * 6.3 线性分组码 （3）循环性：若 是一个码字，且由C的循环移位得到的 也是一个码字，则称码字具有循环特性。 循环码是线性码集合中满足循环移位特性的一个子集合，即循环码的码字C的所有循环移位都是码字。 * 6.3 线性分组码 令 是已被信道编码成的码字cm的k个信息码元。用行向量分别表示k个信息码元的向量和编码器输出向量为 * 6.3 线性分组码 线性二进制分组编码器的编码运算可以用n个方程组表示为 将其表示成矩阵形式为 这表明码字向量c是由信息码元向量x生成的，故将G称作码字的生成矩阵。 * 6.3 线性分组码 若令 则任何一个码字都可以表示为生成矩阵的行向量的线性组合，即 这表明{gi}是(n,k)分组码的基向量，它不是惟一的，故生成矩阵也不是惟一的。 * 6.3 线性分组码 一个(n,k)分组码的任何生成矩阵都可以表示成下面的系统形式： 式中Ik是k*k单位矩阵，P是k*(n-k)矩阵，它决定n-k个冗余码元即奇偶校验码元。 * 6.3 线性分组码 如果引入(n-k)*n矩阵H ，其转置矩阵HT和G满足正交关系GHT=0 ，则知 也把H称作一致校验矩阵或一致监督矩阵。 * 6.3 线性分组码 例：某线性分组码生成矩阵为 （1）求n,k的值，并写出全部的码字，若收到000110，判断其是否正确。 （2）求一致校验矩阵。 * 6.3 线性分组码 解：生成矩阵是3行6列，可知n=6,k=3 * 6.3 线性分组码 写出所有的码字为： 若收到000110则出错了。 000000 001011 010110 100101 011101 101110 110011 111000 * 6.3 线性分组码 一致校验矩阵为 * 3.5 马尔可夫信源 3.5.1 有限状态马尔可夫链 3.5.2 马尔可夫信源 * 3.5.1 有限状态马尔可夫链 设 为一随机序列，时间参数集 ，其状态空间 ，若对所有的 ，有 则称 为马尔可夫链。 * 3.5.1 有限状态马尔可夫链 转移概率 性质： * 3.5.1 有限状态马尔可夫链 当n-m=1时，即pij(m,m+1)的情况下，将其记为pij(m) ， 称为基本转移概率或一步转移概率。 定义k步转移概率 规定零步转移概率 * 3.5.1 有限状态马尔可夫链 由于系统在任一时刻可处于状态空间中任一状态，故转移概率是一个矩阵，也是一个随机矩阵。 一般情况下，状态空间 是一个可数无穷集合，故转移矩阵是一个无穷列的随机矩阵。 * 3.5.1 有限状态马尔可夫链 如果在马尔可夫链中 即从状态i转移到状态j的概率与m无关，则称这类马尔可夫链为时齐马尔可夫链或齐次马尔可夫链，也称为具有平稳转移概率的马尔可夫链。 如果状态空间 是无穷集合，则称为可数无穷状态的马尔可夫链。 如果状态空间 是有限的，则称为有限状态的马尔可夫链。 * 3.5.1 有限状态马尔可夫链 对于具有m+r步转移概率的时齐马尔可夫链，存在切-柯方程 利用该式就可以用一步转移概率表达多步转移概率。 但是转移概率不包含初始分布。 * 3.5.1 有限状态马尔可夫链 若齐次马尔可夫链对一切i,j存在不依赖于i的极限 则称其具有遍历性，pj称为平稳分布，也是该马尔可夫链的初始分布。 * 3.5.1 有限状态马尔可夫链 成为遍历马尔可夫链的充分条件是具有不可约性和非周期性。 * 3.5.1 有限状态马尔可夫链 不可约性指对于任意一对i和j ，都存在至少一个k，使pij(k)0，即从si开始总可能到达sj。 s1