第二章信息的度量15.ppt

平均互信息 ： 噪声熵： 疑义度 ： 一、微分熵 假设：一个连续随机变量X X∈ (﹣∞ ,﹢∞) 概率密度函数 p(x) X值域分成间隔为?x的小区间，则在 内的概率近似为p(xi) ?x 则：熵的近似式 结论:连续随机变量的熵为无穷大,失去意义.但是第一项为有限值,可作为相对熵描述. 　　同年，香农在他的论文中直接定义连续分布随机变量的信息熵为： 离散熵与微分熵的区别： ——在概念上不同，微分熵去掉了无穷大项，保留了有限值那一项，可作为不确定度的相对量度。 ——著名的微分熵　　 1948年，维纳定义连续变量的信息熵为： ——为概率密度函数。 　 假设：两个连续分布的随机变量X和Y，其联合概率密度函数p(xy)，边缘分布密度函数分别为p(x)和p(y)，则： 可见：与离散状态下的平均互信息是一致的。 二、连续随机变量下的平均互信息 例2-8： A B C D E F G H 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04 等长码 000 001 011 010 110 111 101 100 Huffman 011 000 1 00110 0101 0000 0100 00011 由此可见Huffman码不是最好的码 一.编码问题 平均码长分别为: 二.如何理解信道及信道容量问题 X Y P(y|x) 信源 编码 信道 信宿 译码 噪声 信道 噪声 信源 信宿 简化为： 则可表示为： 不同信道具有不同P(y|x)，可用P(y|x)表示信道 反映信源通过信道以后信宿收到的信息 I(X;Y)=H(X)-H(X|Y) ?信道的容量：给定信道P(y|x)以后，信道可以传递的最大信息量。 设Pc是所有可能的信源集合，则信道容量 ?平均互信息： 三.香农信息论存在的问题 问题1：香农熵不讲内容，只讲形式 情况1: 情况2: 如果情况改为: 预报准确 预报不准确 气象台1 0.2 0.8 气象台2 0.8 0.2 香农信息论是完备概率模式下求得的 例: 如果气象台2工作很好： 预报准确下雨几率0.8 预报准确下大雨几率0.4 提供的信息H(X)不能由这两概率求得 满足 问题2： 必须是不相容事件 ∵随机事件 如果确定不相容事件，但 则不能使用香农信息 问题4：只有未知的消息才是信息吗？ 对不同描述应该有不同的度量方法 偶发型 模糊型描述 概率型 确定型描述 信息描述类型 问题3：对信息只用统计不确定来度量 差异携带信息吗？ 结论：目前这些问题还没有解决，所以当前很多专家都在研究这种广义的信息论，而香农的信息论在通信中发挥的淋漓尽致。 设有一非均匀色子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求扔一次平均得到的信息量。 则各点出现时所给出的信息量为： I(x=1)=4.39比特； I(x=2)=3.39比特； I(x=3)=2.81比特； I(x=4)=2.39比特； I(x=5)=2.07比特； I(x=6)=1.81比特； 扔一次平均得到的信息量为： H（X）=E[I(x)]=2.40 比特/信源符号 解：分析得扔一非均匀色子形成的信源X为 例2-9: 例2-10：设有一批电阻，按阻值分70%是2千欧姆，30%是5千欧姆；按功耗分64%是1/8W，其余是1/4W。现已知2千欧姆阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 解：根据题意，设电阻的阻值为事件X，电阻的功率为事件Y。它们的概率空间分别为： 并且已知： 首先计算 根据全概率公式 可得： 通过测量电阻阻值可以得到关于瓦数的平均信息量就是平均互信息I（X；Y） 则通过测量阻值可以平均得到的关于瓦数的信息量是0.816比