信息论北理工复习2013.docVIP

信息论复习 1．消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言，文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息 信息是可以量度的，信息量有多少的差别。 4．信息论的起源、历史与发展。 1948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。 6．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？ 通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。 提高可靠性：信道编码。增加冗余。 7．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？ 信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同： ?不确定度是信源符号固有的，不管符号是否发出； ?自信息量是信源符号发出后给予收信者的； ?为了消除该符号的不确定度，接受者需要获得信息量。 自信息量 条件自信息量： 联合自信息量： 8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。 自信息量指的是该符号出现后，提供给收信者的信息量。 9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。 信源熵： 条件熵： 疑义度： 噪声熵： 联合熵： 10. 信源熵的基本性质与定理及其理解？ ?熵的性质 ??对称性 ??非负性 ??确定性 ??香农辅助定理 ??最大熵定理 ??条件熵小于无条件熵 信源熵是在平均意义上来表征信源的总体特性，它是信源X的函数，而X是指随机变量的整体（包括概率空间）。信源给定，概率空间就给定，信源熵就是一个确定值。 信源熵H(X)的三种物理含义： ??表示信源输出后，每个离散消息所提供的平均信息量。 ??表示信源输出前，信源的平均不确定度。 ??反映了变量X的随机性。 11. 平均互信息量的定义及物理意义？疑义度及噪声熵？ 12. 平均互信息量的性质及理解？ 13. 平均互信息量关于信源概率和信道转移概率的凸性定理。 14. 最大离散熵定理及理解。 16. 数据处理定理及其含义。 17. 信源的种类 按时间和幅度分类： 离散信源 单符号离散信源 文字，数字，数据等 离散序列信源 连续信源 连续幅度信源 话音，图像，图形等 随机波形信源 按符号之间的关系： 无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 18. 离散平稳信源的定义，平均符号熵，极限熵的定义，含义与理解。 信源所发符号序列的概率分布与时间的起点无关，这种信源我们称之为多符号离散平稳信源。 马尔可夫信源的定义，含义及其极限熵？ 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。 马尔可夫链极限熵： 为了使马尔可夫链最后达到稳定，成功之路遍历的马尔可夫链，还必须满足两个条件： 平稳信源的概率分布特性具有时间推移不变性，而齐次马氏链只要求转移概率具有推移不变性，因此一般情况下平稳包含齐次，但齐次不包含平稳。 20. 信源的冗余度的定义和含义？为什么有些信源有冗余度？冗余度的计算。 冗余度，表示给定信源在实际发出消息时所包含的多余信息。 它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性. 21. 连续信源的熵的定义？ 连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。 22. 几种特殊连续信源的熵。 幅度连续的单个符号信源熵 波形信源熵 24. 信源输出值受限的最大连续熵定理。 限峰功率最大熵定理：对于定义域为有限的随机变量X，当它是均匀分布时，具有最大熵。 25. 信源输出的平均功率受限的最大连续熵定理。 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当