信息论作业..docx

熵从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5％，如果你问一位男同志：“你是否是红绿色盲？”他的回答可能是“是”，可能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？2.. 设有一概率空间，其概率分布为{,,…,}，并有。若取=，=，其中，其他概率不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义加以解释。3.（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同的亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素独立变化，且所有亮度电平等概率出现。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率约是黑白系统的信息率的2.5倍。4. 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元脉冲宽度为5ms。（1）不同字母等概率出现时，计算传输的平均信息速率；（2）若每个字母出现的概率分别为，试计算传输的平均信息速率。5. 证明：6 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。压缩编码1. 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码和。（1） 求这些码中哪些是唯一可译码；（2） 求哪些是非延长码（即时码）；（3） 对所有唯一可译码求出其平均码长。消息概率1/20000001011/40010110100000011/1601001111011010011001/160110111111011000101011/16100011111111010011101101/161010111111111101111110111设信源，。将此信源编码成为r元唯一可译变长码（即码符号集），其对应的码长为（）=（1，1，2，3，2，3），求r值的最小下限。设一信源有K=6个符号，其概率分别为：，，，对该信源进行霍夫曼二进制编码，并求编码效率。某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是等概的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别是1/4，1/8，1/8和1/2，问在此情况下消息所需的二元脉冲数是多少？如何编码？若有一信源每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的），而信道每秒钟只传递2个二元符号。试问信源不通过编码能否直接与信道连接？若通过适当编码能否在此信道中进行无失真传输？若能连接，试说明如何编码并说明原因。信道容量：1 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。2 已知信源包含两种消息：，且，信道是有扰的，信宿收到的消息集合包含。给定信道矩阵为：，求平均互信息。3 设二元对称信道的传递矩阵为：，（1） 若P(0)=，P(1)=，求，，和；（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。4 求下图中信道的信道容量及最佳的输入概率分布。并求当和时的信道容量C。5 有一个二元对称信道，其信道矩阵为。设该信道以1500个二元符号每秒的速率传输输入符号。现有一消息序列共有14000个二元符号，并设在这个消息中，。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？6 若有一离散非对称信道，其信道转移概率如下图所示。试求：（1） 信道容量；（2） 若将两个同样信道串接，求串接后的转移概率；（3） 求串接后信道的信道容量。7 设有一离散级联信道如下图所示。试求：（1）与间的信道容量；（2） 与间的信道容量；（3）与间的信道容量及其输入分布。8 若有两个串接的离散信道，它们的信道矩阵都是：，并设第一个信道的输入符号是等概率分布，求和并加以比较。9 若，，是三个随机变量，试证明：；；,当且仅当（）是马氏链时等式成立。10 若三个离散随机变量有如下关系：，其中和相互独立，试证明： ； ； ； ；。