差错控制编码第四章离散信道.pptVIP

信息论与编码理论第4章 离散信道; 4.1 信道的分类及数学模型 什么是信道？ 信道是传输信息的载体或媒介，也可以说信道是信号所通过的通道。信息是抽象的，信道则是具体的。;二、信道的一般模型;根据输入输出随机信号在幅度和时间上的取值的特点分类 离散信道(数字信道)：输入、输出随机变量都取离散值。 连续信道：输入、输出随机变量都取连续值。 半连续信道：输入变量取离散值而输出变量取连续值，或反之。;根据输入输出消息集合的个数分类 两端信道（两用户信道、点对点信道）：只有一个输入端和输出端的单向通信的信道。 多元接入信道 广播信道 ;3 根据信道的统计特性分类 有记忆信道：信道某一时刻的输出信息，不仅与该时刻的输入消息有关，而且还与过去的输入消息有关。 无记忆信道：信道的输出仅与信道该时刻的输入有关，而与过去的输入消息无关。;4. 根据信道的参数与时间关系分类 恒参信道：信道的统计特性不随时间而变化，如卫星信道。 随参信道：信道的统计特性随时间而变化，如短波信道。;三种特殊的离散信道;无损无噪信道 信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信号X之间有确定的、一一对应的关系，即： yn=f(xn) ;无损无噪信道 ;2. 有噪无损信道;2. 有噪无损信道;3. 有损无噪信道 当信道中的信息受损时，信宿得不到足够的信息来指认所发字符，使输入和输出出现多对一的情况，即多个X对应一个Y，接收到符号Y后不能完全消除对X的不确定性。 传递概率矩阵中每行有且仅有一个元素，即具有多行一列的分块对角化形式。;3. 有损无噪信道;信道的数学描述 设离散信道的输入序列为X={X1,X2,…,XN}，其中XN ∈符号集A=(a1,a2,…,ar)。 相应的输出序列为Y={Y1,Y2,…,YN}，其中YN ∈符号集B=(b1,b2,…,bs)。; 信道的特性可用条件概率来描述： p(y|x)=p(Y1Y2…YN|X1X2…XN) 条件概率p(y|x)称为信道的传递概率或转移概率。;一般信道的模型;信道描述的物理意义;有损有噪信道 若信源发出ai有可能收到任意一个bj；收到bj也有可能来自任意一个ai，即yn与xn多多对应，传输矩阵中所有的矩阵元素都有可能不为零。;有损有噪信道;特殊的有损有噪信道;离散无记忆信道的定义;单符号离散信道的模型;单符号离散信道的传递概率;传递概率矩阵的定义 按照输入输出符号的对应关系，把(r×s)个传递概率p(bj|ai)排列成一个(r×s)阶矩阵。 这个(r×s)阶矩阵被称为单符号离散信道的传递概率矩阵，或信道矩阵，记为P。;传递概率矩阵的表示; 由于噪声的随机干扰，信道输入某符号ai的前提下，信道输出哪一种符号虽然是不确定的，但一定是信道输出符号集B:(b1,b2,…,bs)中的某一种符号，绝对不可能是符号集B以外的任何其他符号，即矩阵中每一行之和必等于1。;单符号离散信道的传递特性图;单符号离散信道的传递特性图;对称信道;对称信道;4.3.2 信道疑义度和噪声熵;一、离散信道中一般概率的关系;一、离散信道中一般概率的关系;一、离散信道中一般概率的关系;二、熵及平均互信息的物理意义;二、熵及平均互信息的物理意义;二、熵及平均互信息的物理意义;二、熵及平均互信息的物理意义;二、熵及平均互信息的物理意义;三、各类熵和平均互信息之间的关系;【例4.1】;【例4.1】;【例4.1】;【例4.1】;【例4.1】;【例4.1】;【例4.1】;【例4.1】;【例4.2】;【例4.2】;【例4.2】;【例4.2】;【例4.2】;【例4.2】;【例4.2】;【例4.2】;【例4.3】;【例4.3】;【例4.3】;【例4.3】;;假设串联的两个信道为信道I和信道II，信道I的传递概率为p(y|x)，信道II的传递概率为p(z|xy)。 定理4-3 若随机变量X,Y,Z构成一个马尔可夫链（p(z|xy)=p(z|y)），则有 I(X;Z)≤I(X;Y) I(X;Z)≤I(Y;Z) 定理4-3叫做数据处理定理，它的含义是通过串联信道的传输，只会丢失信息，不会增加信息，至多保持原来的消息量。这是信息不增性原理。;例4-7 两个二元对称信道串联;例4-8 信道I和信道II的信道矩阵分别为 X,Y,Z构成一个马尔可夫链，则;4.5 信道容量4.5.1 信息传输率;4.5.2 信道容量;信道容量的例子（例4-10）;4.5.3 三种特殊信道的信道容量;无噪无损信道;有噪无损信道;无噪有损信道;4.5.4 对称信道的