周世东-通信与网络-3.信息论初步-new for pdf_back.pdfVIP

现代通信原理 ——信息论初步 清华大学电子工程系 1 通信中关心的信息问题 • 有多少信息要传送出去？信源的信息量问题，如 何度量信息 – 单一消息 – 多个消息：独立消息、不独立消息 – 消息序列的信息量？ • 信道能传送多少信息？信道容量问题 – 从接收信号（随机）中能获取多少关于发送信号的信 息？ – 怎样设计发送信号，能充分发挥信道的传送能力？ 第一部分：信息的度量问题 • 对信息的感性认识 • 单个消息的度量 • 多个消息的度量，独立消息、相关消息、 消息间的互信息，消息序列 • 取值连续的信源信息度量 1.单个信源的信息度量 对信息量的感性认识（1） • 对一次随机事件发生后的观察，获得关于这次事 件结果的信息。 – 天气、掷骰子、考试成绩、挖地雷。。。 – 下雨、掷出6 、不及格、有雷 • 只有存在随机性，不确定性，未知性，才有信息， • 一次随机事件发生，产生一个随机的观察，对应 一个消息，它的信息量应该随这种观察的可能性 减少而增加，如果我们获得了这个消息，就得到 了相应的信息量。 对信息量的感性认识（2） • 一个事件的信息量，一次事件的平均信息 量，感性认识： • 掷一次骰子前，不知结果，对其平均信息量的估计 • 中状元，中奖，一个人中奖，对这个人而言信息量 特别大，而由于中奖的人太少，人均信息量可能很 小 • 生男，生女，有随机性，各占一半可能性，对每个 家庭来说，都有机会，且机会均等，人均信息量比 较大，但单人信息量比中奖那个人的信息量要小。 定量的例子 • 侦察员要把侦察到的雷区布雷情况传回，情报、信息， • 关心的是如何描述各点有无雷的情况，情报文件的大小，体现 了这份情报的信息量 • 侦察任务清单里100个点，按顺序，以0 、1表示，共100个比 特。 • 如果每个点有雷的概率是0.0001 ，则整个雷区出现超过3个雷 的概率为4.9e-5 ， • 如果允许关于雷场的情报误判率在万分之一以下，则可以只把 3个雷的位置（每个位置用7比特）表示出来，共需21个比特， 说明此时信息量不到100个比特。 例子：续 考虑的雷数 3 4 5 6 7 超过雷数目标 4.9e-5 1.6e-7 3.9e-10 7.5e-13 1.2e-15 的概率 用雷的位置表 21 28 35 42 49 示所需比特数 雷的图案数 166751 4087976 1.2714e+ 1.7279e+01 009 0 雷的图案编号 18 22 27 31 35 所需比特 可见，此时，如果允许有一定的失误概率， 传送情报所需的比特数可以大大减少 例子，续2 ，有雷概率1e-4 • 1e-20的失 60 误率对应 50 的情报大 数 40 案 图 小为37比 场 30 X: 3