近代信息论第一章.pptVIP

第1页，共27页，星期日，2025年，2月5日主要内容连续熵最大熵定理最大熵方法第2页，共27页，星期日，2025年，2月5日第六节连续信源的熵连续熵的定义：用离散变量逼近，寻找Xi,逼近X中值定理：以这样取得的离散值Xi,i=1,2,…,n，可逼近表示连续变量Xab第3页，共27页，星期日，2025年，2月5日连续熵的定义第4页，共27页，星期日，2025年，2月5日定义连续熵：连续熵的定义连续熵与信息熵有本质的区别；连续熵不具备非负性；连续熵不代表信息。相关定义联合熵：条件熵：第5页，共27页，星期日，2025年，2月5日互信息连续集X和Y之间的平均互信息定义为：性质：连续变量互信息的性质在许多方面与离散情形相似：123back第6页，共27页，星期日，2025年，2月5日最大熵定理连续信源:先看两种分布的熵均匀分布正态分布限峰功率最大熵定理——均匀分布限平均功率最大熵定理——正态分布最大熵方法recall离散信源最大熵定理：当信源等概率分布时熵最大。第7页，共27页，星期日，2025年，2月5日P(x)是均匀分布的情形一维多维（N维均匀分布的情形）第8页，共27页，星期日，2025年，2月5日P(x)是正态分布的情形（高斯分布）一维第9页，共27页，星期日，2025年，2月5日N维高斯分布——pdfP(x)是正态分布的情形（高斯分布）第10页，共27页，星期日，2025年，2月5日N维高斯分布——熵P(x)是正态分布的情形（高斯分布）第11页，共27页，星期日，2025年，2月5日P(x)是正态分布的情形（高斯分布）N维高斯分布——熵back第12页，共27页，星期日，2025年，2月5日限峰值功率的最大熵定理定理：若信源的输出峰值功率受限，输出为均匀分布时，达到熵最大。证明：第13页，共27页，星期日，2025年，2月5日限峰值功率的最大熵定理定理：若信源的输出峰值功率受限，输出为均匀分布时，达到熵最大。得证。第14页，共27页，星期日，2025年，2月5日限平均功率的最大熵定理定理：信源输出的平均功率和均值被限定，则其输出信号的pdf是高斯分布时，信源达到最大熵。证明：第15页，共27页，星期日，2025年，2月5日限平均功率的最大熵定理定理：信源输出的平均功率和均值被限定，则其输出信号的pdf是高斯分布时，信源达到最大熵。back第16页，共27页，星期日，2025年，2月5日最大熵方法问题的提出——病态问题（ill-posed)例1：图像恢复例2：谱估计最大熵原理最大熵谱估计第17页，共27页，星期日，2025年，2月5日图像恢复最大熵方法——病态问题降质f(i,j)模糊d(i,j)噪声w(i,j)g(i,j)ill-posed第18页，共27页，星期日，2025年，2月5日谱估计对于X(t)满足约束条件（无限长，平方可积）最大熵方法——病态问题数据不完备有噪ill-posed第19页，共27页，星期日，2025年，2月5日