第章离散信源题与答案.pdf

设 有 一 离 散 无 记 忆 信 源 ， 其 概 率 空 间 为 该信源发出的信息序列为 (202032) 。求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此消息发出的概率是： 此消息的信息量是： I log p 87.811 bit (2) 此消息中平均每符号携带的信息量是： I / n 87.811/ 45 1.951 bit 某一无记忆信源的符号集为 {0,1} ，已知信源的概率空间为 (1) 求信息符号的平均熵； m m (2) 由 100 个符号构成的序列，求某一特定序列（例如有 个“0”和（100- ）个“ 1”）的 自信息量的表达式； (3) 计算 (2) 中序列的熵。 解： (1) (2) (3) 某信源的消息符号集的概率分布和二进制代码如题表所列。 题表 信源 1/2 1/4 1/8 1/8 代码 0 10 110 111 (1) 求信息的符号熵； (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序 列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现 0 和 1 的无条件概率 p 和 p ，求相邻码间的条件概率 p 、 p 、 p 、 p 。 0 1 0 / 1 1/ 0 1/ 1 0 / 0 解： (1) (2) (3) 设消息序列长为 N ，则 u 、 u 、 u 、 u 的个数分别为 N / 2, N / 4, N / 8, N / 8 个。 0 1 2 3 N N N N 7 N 则 0 的个数为 1 1 1 0 2 4 8 8 8 N N N N 7 N 而 1 的个数为 0 1 2 3 2 4 8 8 8 因而 p0 p1 0.5 设有一个信源，它产生 0，1 序列的信息。该信源在任意时间而且不论以前发生过什么消息 符号，均按 P(0)= ，P(1)= 的概率发出符号。 (1) 试问这个信源是否是平稳的； 2 3 1 2 ∞ (2) 试计算 H(X ) , H(X/X X ) 及 H ； 4 4 (3) 试计算 H(X ) 并写出 X 信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语： “它在任意时间而且不论以前发生过什么符 ．．．． ．．．．．．．．．． 号……” ． (2) (3) 有一马尔可夫信源，已知转移概率为 ( / ) 2 / 3