信息论基础2.1.1- 2.ppt

信息论与编码-信源熵（第二章）;三、信源的分类;（2）连续信源 连续信源是指发出在幅度上连续分布的连续消息的信源，如语言、图像、图形等都是连续消息。 或：消息数量无限的信源。 或：可以用连续型随机变量及其概率空间来描述的信源;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;数学模型的建立：;信源的数学模型：;一般单符号信源的数学模型：;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;事件b的不确定性为;信息论与编码-信源熵;故得，从事件A获得的信息量为;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;同理：;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源熵;例5、设8个等概率分布的消息通过传递概率为p的BSC进行传送。8个消息相应编成下述码字：;信道为二元对称信道;同理，;（2）接收到第二个数字也是0时，;里敷繁翠辕量倒亢死以紊袁杂垦慑盆撂肮碗列撒垄汹眠罩韧烯绳驭州县潮信息论基础2.1.1- 2信息论基础2.1.1- 2;（3）接收到第三个数字仍是0时，;所以得，;所以，又增加了关于M1的互信息为;以上结果说明，当p=0时，二元对称信道是无干扰信道，从接收到第一个数字0得到关于M1的互信息是1比特。接收到第二个数字0又得到关于M1的1比特信息；接收到第三个数字0又得到关于M1的1比特信息；而接收到第四个数字0时得不到关于M1的任何信息。因为所有关于M1的3比特已经从前三个数字中全部获得了，而且在无扰信道中当接收到前面三个数字后就能完全确定所发的Mi了。当p=0.5，这二元对称信道干扰很大，从任何一个数字中都不能获得有关M1的信息，所以从接收到Y=(0000)也不能获得任何关于M1的信息.;信息论与编码-信源及信源熵;信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。因此，信息熵有以下三种物理含义： ;信息论与编码-信源熵;例7、;（2）此消息中共有45个信源符号，所以平均每个信源符号携带的信息量为;信息论与编码-信源及信源熵;信息论与编码-信源及信源熵;信息论与编码-信源及信源熵;信息论与编码-信源熵;信息论与编码-信源熵;信息论与编码-信源及信源熵;例9、如有6行8列的棋形方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为(XA,YA), (XB,YB),但A,B不能落入同一方格内。;可得落入任一格的平均自信息量：;（3）由于质点A,B是可分辨的，但不能落入同一方格内，那么当质点A,B同时落入的情况相当于质点A先落入48格中的任一格后，质点B再落入其余47格中任一格的情况。所以质点A,B同时落入的平均自信息量等于前两题的平均自信息量之和，即为求联合熵