信息论与编码纠错.pptVIP

实际通信系统模型 (2)研究某性能时的简化框图——在具体研究某一性能时可将某些功能框合并，以简化 ①有效性研究——把必威体育官网网址编码、信道编码并入信道 ②可靠性研究——把信源编码、必威体育官网网址编码并入信源 ③必威体育官网网址性、认证性研究——把信源编码并入信源，信道编码并入信道 信息论与编码 第一章 信 息 论 基 础 内容提要 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。 本章首先引出信息的概念，简述信息传输系统模型的各个组成部分，进而讨论离散信源和离散信道的数学模型，简单介绍几种常见的离散信源和离散信道。 §1.1 信息的基本概念 信息：物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。 一．信息的基本含义 二．信息、消息和信号的区别与联系 信息：指事物运动的状态及状态变化的方式，是抽象的意识或知识。 消息：一般指包含有信息的语言、文字和图像，它载荷信息，但它不是物理性的。 信号：是消息的物理体现，消息要传输，必须加载到某种特征的信号上去，它是信息的载体，是物理性的。 通信系统中形式上传输的是消息，实质上传输的是信息，实际上传输的是信号。消息中包含信息，消息是信息的载体。 三．什么是信息论 四．信息论的发展及范畴划分 1．狭义信息论：即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。（香农信息论） 2．实用信息论：研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 3．广义信息论：包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 信息论：研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学。 §1.2 信息传输系统 信息传输系统模型 1．信 源：产生消息的源。 2．编码器：将消息变成适合于信道传送的信号的设备。 （1）信源编码器：对信源输出的消息进行适当的变换和处理，以达到减少或消除信源冗余度来提高信息的传输速率。 （2）信道编码器：对信源编码器的输出进行变换和处理，通过增加冗余度来提高信息传输的可靠性。 3．信 道：信息传输和存储的媒介。如光纤、电缆、无线电波等。 4．译码器：译码是编码的逆变换，分为信道译码和信源译码。 5．信 宿：消息的接收者。可以是人，也可以是机器。 信道编码 信源编码 必威体育官网网址译码 信道译码 信源译码 必威体育官网网址编码 噪声 信道 信源 信宿 信源编码 信源译码 无噪广义信道 信源 信宿 信道编码 信道译码 信道 广义信源 广义信宿 信道编码 信源编码 必威体育官网网址译码 信道译码 信源译码 必威体育官网网址编码 噪声 信道 信源 信宿 必威体育官网网址译码 必威体育官网网址编码 无噪广义信道 广义信源 广义信宿 信道编码 信源编码 必威体育官网网址译码 信道译码 信源译码 必威体育官网网址编码 噪声 信道 信源 信宿 §1.3 离散信源及其数学模型 一．信源的描述及分类 1．信源的描述 信源是产生消息的源，消息是随机的，因此可以用随机变量或随机过程来描述消息，在信息论中，通常用一个样本空间及其概率测度{ X，p ( X ) }来描述信源。 2．信源的分类 根据X的不同情况 (1)离散信源：消息集X为离散集合，即时间和空间都离散的信源； (2)连续信源：时间离散而空间连续的信源； (3)波形信源：时间连续的信源，如语言、图像等。 根据信源的统计特性 (1)无记忆信源：X的各时刻取值相互独立； (2)有记忆信源：X的各时刻取值相互有关联。 二．离散无记忆信源 离散无记忆信源（Discrete Memoryless Source，简记为DMS）输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的。 离散无记忆信源的数学模型为离散型的概率空间，即 【例】二进制对称信源只能输出符号0或1，输出0的概率为p，输出1的概率为1-p，信源概率空间描述为： 【例】随机掷一个无偏的骰子，可能出现的点数与其概率分布为： 三．离散无记忆的扩展信源 实际情况下，信源输出的消息往往不是单个符号，而是由许多不同时刻发出的符号所组成的符号序列。设序列由N个符号组成，若这N个符号取自同一符号集{ a1 , a2 , … , ak}，并且先后发出的符号彼此间统计独立，我们将这样的信源称作离散无记忆的N维扩展信源。其数学模型为N维概率空间： 为各种长为N的符号序列。 = x1 x2 … xN ，xi?{ a1，a2，…，ak}，1 ? i ? N。 序列集X = {a1a1…a1 , a1a1… a2 , … , akak…ak }，共有M= kN种序列。 由于序