信息论填空简答.docxVIP

条件增加，随机变量的不肯定性下降,对应的爛减少 设x={ X],…Xn，- }为无记忆信源，则爛率 比以戶H(XJ 1 H」X| 冗余度」呵X|卜H」X|,相对冗砂 两冈  器?信源译码器?信宿 1、 设信源X是平稳的，则Rz(D)=limlR(D)右端的极 限 。(存在) 2、 对离散无记忆信源，R / (D)=n R 7 (D),从而 R\D)_R；(D) ° (N, =, W)(答案:=) ?个随机变最X的任何D进即时码的平均码长L应满足  3、设X为离散无记忆信源，则对任意的RRZ(D),必存在 J % 凶,其中等号成立当且仅当D=Pi 二进对称信道的转移概率矩阵为 d(x,x) = 汉明失真： 平方失真：d(x,^(x?M 一个(2朋，n)码，使 Ed (xn , X ) Do (2,=, W)(答案：) 4、设 X?卜 J,失真测度为 d(O,O) = d( 1, 1 ) = 0,d( 1 , 丄 丄 J 2 0)=1 ,d(0 J )= oo,则率失真函数R 7 (D)= o 绝对值失真：W)*) r(D) = 1 —丄［(1 + 2D) log(l + 2D) — ID log 2D］； 2 0； 当 2D\} 当 2D1 率失真函数R【(D)满足ow R1(D)W H(x), R?(D)=o,当且仅当 D Dniax  3?设一对随机变臺(XV)的联合分布为 p(x,y) = Pr{X =x,Y = y],xE 力，yw y ， 则定义(X』) 的联合爛 H(X.Y)为 a( a(x)二丄 1-r log(工[〃(无)『),厂0,心1 RI(D)= lim-Rn2(D) 设信源x是平稳的，则 … n 存在 随机变量经变换后，可微嫡的变化，设c为常数，则 h(X+C)= h(X) 为常数，则 h(aX)= h(X)+log |a| 如果用随机变量代表一个信源，则?爛 就是它的平均不 肯定的度量。 设兀丘力，有概率p(x),则X的自信息定义为：I(X) 信息的产生和发送者称之为信源。 弱对称信道的信道容量为O 香农在1948年首先证明了无记忆信源的渐近等分性并 指出该性质对平稳遍历信源也成立。 相对D(P II q)=0,且等号成立的 充要条件是d (x) =q (x)对所冇的兀丘力成立。 (信道容虽)一个离散无记忆信道的信道容量定义为 C= O 信源?信源编码器?信道编码器?信道?信道译码  H ( X，Y) = _工工/心 y) log p(x? y) 5?设Xl,X2,...,Xn的联合分布为p(兀］，兀2,…暫)，则 H(X”X2，..?,X〃) =》H(X,|X+??，XJ /=! 如果U T X T 丫 TV构成马氏链，则/(f7；V) —/(XV)。 io.设随机变量X □ p(x),定义X的厂阶嫡 11.设/(“)是满足f(m + h) f(m) + f(n)的半可加 数列’则lim-/(/7)=-infl/(n) Too n n n 设实数列{° ,〃 = 1,2,.??}冇极限lima -a, L J HT8 则 lim 丄，a. = a f n匕 1948年，美国数学家查农发表了题为“通信的数学理论” 的长篇论文，从而创立了信息论。 14?必然事件的白信息是015 15.对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的 是香农编码16?平均错误概率不仅与信道木身的统计特性有 关，还与译码规则和编码方法有关。 离散平稳无记忆信源X的N次扩展信源的埔等于离散信源 X的爛的汕倍。 一副充分洗乱的扑克牌(52张)，从中任意抽取1张，然后 放回，若把这一过程看作离散无记忆信源，则其信源嫡为 log? 52 信道的输出仅与信道当前输入有关，而与过去输入无关的 信道称为无记忆信道。 所谓信源是指.消息的來源 信息论中用.冗余度来描述信源输出符号携带的信息的冇效程 度。 5?设西，花……，为无记忆信源，服从公共分布(X)，当码率 R = -logM H(x)时，存在码率为/?的编码，使得当 n /? — °°时，误差概率pe — 0 6?随机过程的随机变量Z间相互独立称独立借源或独也遡。 1个随机变量X的任何D进即时码的平均码长/应满足 8?哈夫曼编码的优点是编码方便易行效率高 设x = {a,b.l},其中！表示.一个词的结束符 10.how _ Much _ wood 10. ho w _ Much _ wood _ woul 示可利用信息的窗口 Rl(D)为05D5% 上的减函数。 H(D)为[0,x)的旦函数。 R‘(D)为「0.00)的连续函数。 def 15 . X的可微商定义h(x) h(p) = - f P(X)log p(x)dx J R h(x I y) h