信息与编码复习总结.docxVIP

信息是关于事物运动状态或存在方式的不确定性的描述。抽象的、非物理的，是信息的哲学层表达。消息是指包含信息的语言、文字、符号、数据、图像等。消息是信息的载体。是具体的、非物理的形式，是信息的数学层表达信号：运用声、光、电等物理量来运载信息。信号是载荷信息的实体，是具体的、物理的形式，是信息的物理层表达信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息。消息是信息的数学载体、信号是信息的物理载体通信系统的模型\例题：一个布袋中包含100个球，其中80个红球，20个白球。（1）随机地抽取一个球观察颜色后放回布袋，则出现白球的概率多少？（2）随机抽取一个球，记录颜色后不放回布袋，接着再取一球记录颜色，试问如果第一个是红球，第二个分别是红球和白球的概率？（3）随机抽取一个球，记录颜色后不放回布袋，试问，取出两个球，先后是白球和红球的概率？（1）解: 设Wi ={第i次取出是白球}, i=1,2,……2）解: 设Wi ={第i次取出是白球}, i=1,2,…… Rj={第j次取出是红球}，j=1,2,……（3）解: 设Wi ={第i次取出是白球}, i=1,2,…… Rj={第j次取出是红球}，j=1,2,……1、信源编码的主要目的是提高__ 有效性____，信道编码的主要目的是提高_可靠性_____。2、根据是否允许失真，信源编码可分为___无失真信源编码__和____限失真信源编码___。3、如果从随机不确定性的角度来定义信息，信息反映的__不确定性_____消除量。4、简述信息、消息与信号3个名词5、给出通信系统的基本模型，并说明各组成部分的含义。6、简述通信系统的性能指标，并说明通过什么渠道优化这些性能指标。有效性——信源编码可靠性——信道编码安全性——加密编码第二章按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为_______和_______两大类。 习题2-1,习题2-21、掷两粒骰子，当点数之和为5时，该消息包含的信息量是______bit。2、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，可能是“否”，问 （1）这两个回答中各含多少信息量？ （2）平均每个回答中含有多少信息量？解：教材39页 2-2 , 2-5,2-7,2-15第二章复习（1）信息是可以定量描述的，可以比较大小。由概率决定；（2）对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；（3）可通过对信源的观察、测量获得信息，以减少对信源的不确定度；（4）考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降； （5）通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)（6）信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。1、一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为________。 2、分别说明下列表达式的含义。 （1）自信息量 （2）熵 （3）联合熵 （4）平均互信息量 （5）条件熵4、简述最大离散熵定理 5、简述数据处理定理6、一阶马尔可夫信源的状态图如图所示，信源X的符号集为（0，1，2）。（1）求信源平稳后的概率分布P(0)，P(1)，P(2)；（2）求此信源的极限熵。 有1、设信道输入X={3,1,1}，输出Y={1，1，2}， 规定失真函数为 则失真矩阵D=____________。2、分别说明下列表达式的含义。（1）信息率失真函数R（D）；（2）信道容量C。第五章分组码：每个符号序列依照固定的码表映射成一个码字。定长码：码中所有码字的长度都相同。变长码：码中的码字长短不一。非奇异码：信源符号和码字是一一对应。奇异码：信源符号和码字不是一一对应。唯一可译码：任意有限长的码元序列，只能被唯一地分割成一个个的码字。即时码：在唯一可译码中有一类码，它在译码时无须参考后继的码符号就能立即做出判断，译成对应的信源符号。 非即时码：接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。解（1）（2）信源消息符号xi符号概率p(xi)累加概率Pi-logp(xi)码字长度ki码字x11/20110x21/41/22210x31/83/433110x41/167/8441110x51/321