朱雪龙《应用信息论基础》习题答案

1、第二章习题参考答案22.1 ln 22ybitx y22nat 或 log2x 22.2证明:I(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ) H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) H(X) H(Y) H(XY) H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y) 0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H(Z |XY),即 H(Z) 1

2、 H (Z | XY)又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X) = 0.918 bit, H(Y) = 0.918 bit2) H(X|Y) = - bit , H(Y|X) = 2 bit , H(X|Z) = 2 bit 3333) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit2.4 证明：(1)根据嫡的可加性，可直接得到log( k 1),故原式

3、得证(2) YW值取自(a1,a2, ,3m), H (Y)2.5考虑如下系统:假设入X、Y是相互独立的，则满足 I(X;Y) = 0又 I(X;Y|Z) = H(X|Z)不妨设 P(Z=0) = P(Z=1)=H(X|YZ) = H(X|Z) = 1 bit1设 P(X=0,Y=0|Z=0) = pP(X=0,Y=1|Z=1) = q2P(X=1,Y=1|Z=0) = 1P(X=1,Y=0|Z=1) = 1则 H(X|Z)=1 .2 Plogp + (1 - p)log (1 p)一q1 ." qlogq + (1 -q)log(1 q) =112满足上式的p、q可取：p = ;

4、q =2满足条件的一个联合分布:1P(X=0, Y=0, Z=0)= -1P(X=1, Y=1, Z=0)=41P(X=1, Y=1, Z=0)=-1P(X=1, Y=0, Z=1)=42.6 解：1/，给出均匀分布p(x) a x b其中b a 1,则h(X) 0b a2.7 证明：I(X;Y;Z) = I(X;Y) I(X;Y|Z)=I(X；Z) I(X;Z|Y) A, B 处理器独立，I(X;Z|Y) = 0. I(X;Z) = I(X;Y) I(X;Y|Z) & I(X;Y) 等号于p(x/yz) = p(x)下成立2.8 N=2 时， P(0 0) = - , P(1 1)

5、= 1 淇它为 022I(X1;X2) = 1 bitN W2 时，I(Xk "Xk |Xi Xk 2) (3Wk)+ P（X1 Xk 2中有偶数个=P(X 1Xk 2中有奇数个1) I( X k 1 ;X k |X1X k 2中有奇数个1)1) I(X k 1;Xk |X1X k 2中有偶数个1)1P(X1 Xk 2中有奇数个1)=-2，一1P(XiXk 2中有偶数个1)=-21P(X k 1=1|X1X k 2中有奇数个1)=-1P(X k i=0|XiX k 2中有奇数个1)=-1P(X k =1|X1X k 2中有奇数个1)=-2（注意，这里k<N-1）1P(Xk=0|

6、X1-Xk 2中有奇数个1)=-21P(Xk 1=1|X1Xk 2中有偶数个1)=-21P(X k 1=0|X1X k 2中有偶数个1)=-21-P（Xk=1|X1Xk 2中有偶数个1）=- （注意，这里 k<N-1）1 P（Xk=0|XiXk 2中有偶数个1）二21 P（Xk1=0, Xk=0|X1 Xk 2 中有奇数个 1）=41P（X k 1=0, Xk =1|X1 Xk 2 中有奇数个 1）=41P（Xk1=1, Xk =0|X1 Xk 2 中有奇数个 1）=-41P（Xk1=1, Xk =1|X1 Xk 2 中有奇数个 1）=41P（Xk 1=0, Xk =0|X1 Xk 2

7、中有偶数个 1）=-41P（Xk1=0, Xk =1|X1 Xk 2 中有偶数个 1）= 一41P（X k 1=1, Xk =0|X1 Xk 2 中有偶数个 1）=-41P（Xk1=1, Xk =1|X1 Xk 2 中有偶数个 1）=-4综上：I（Xk 1；Xk |X1 Xk 2 中有奇数个 1）（3WkWN 1）=H（Xk 1IX1Xk 2中有奇数个1） + H（Xk|X-Xk 2中有奇数个1）H（Xk 1；Xk|X1Xk 2中有奇数个1）=0I（Xk 1；Xk |X1Xk 2中有偶数个1） = 0当 3<k< N-1 时，I（Xk 1；Xk |X1Xk 2） = 0当k = N

8、时即I（ X n 1 ;X n 1 X1 X n 2）=H（Xn 1IX1 Xn 2） H（Xn 1IX1 Xn 2, Xn）=1 bit2.9 1）实例如2.5题2）考虑随机变量X=Y=Z的情况取 P（X=0, Y=0, Z=0） = 1P（X=1, Y=1, Z=1） =1则 I（X;Y|Z） = 0I（X;Y） = 1 满足 I（X;Y|Z） V I（X;Y）2.10 H(X Y) & H(X) + H(Y)等号在X、丫独立时取得111 P( a1b1) =P(a1b2) =P(a1b3) =312121.P(a2b1)= -P(a2b2)=)1P(a2b3)二二62424,1,

9、P(a3b1)=P(a3b2)=61241P( a3 b3)=24满足H(X Y)取最大值2.11证明：p(xyz) p(x)p(y |x)p(z/y)I(X;Z|Y) 0, I(X;Y) I(X;Y|Z) I(X;Y;Z) I(X;Z) I(X;Z|Y) I(X;Z) 0 故 I(X；Y) I (X；Y |Z)成立2.12 证明：H (XYZ) H (XZ) H(Y | XZ)I (Y;Z |X) H(Y|X) H (Y | XZ)H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13 证明：I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z)

10、 H (Y | XZ)H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ) H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边H(XYZ) H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式，原式成立2.14 P(X=n) = (-1)n 1 2 = (；)nI/I、n1 l、nl、n -H(X) =-(-) log(-) =n(-) = 2 bitn 1 2 2222.15 d C (山 小2)211 / 八2.1

11、6 -2 log (nat)2 12 122.16证明:记长为 2N 随机序列X1X2 XnXn 1 X2N中出现ak的频率1 2NP2N(ak)I(Xm2N m 1aj =。的概率为pk（。），其中X1X2 2N2NXn中出现ak的频率为PN（ak）I(Xnak) 的概率为pk(-) , Xn 1Xn 2 X2N中出现ak的 NN频率为PN'（ak）2N1 I(XN n N 1ak）n2PN（ak）的概率为Pk（上），则有NNf"2N (ak)2PN(ak)1-PN'(ak)所以1-PN'(ak), p(ak)21 EI(P2N(ak)，P(ak)E I(2

12、PN(ak)根据鉴别信息的凸性, J111 ,1(二 PN(ak)-Pn(ak), p(ak)二 I (Pn )，p(aj)-I (Pn)，p(aQ)22221111又E-I(PN(ak), p(ak)二I(PN(aJ p(aj二E 1同俎)，p(aj二EI (Pn(aj p(aj2222而根据随机序列的平稳性，有：1 1 一E -I (PN(ak), p(ak) T(PN'(ak), p(ak)E I (Pn (ak), p(ak) E I (Pn'(ak), p(ak)2 21 1E I(P2N(ak), p(ak)E I(PN(aJ Pn'(aj p(ak)2 2

13、1 1E -I(PN(ak), p(ak) 1I(PN'(ak), p(aj)2 2E I(PN(ak), p(ak)I(P2,Pi；XY)p2(xy)P2(xy) log -dxdy ;p(xy)Pi(xy) g(x)h(y);其中 g(x) , 1 . exp(2x222T);x x一、 1，h(y) exp(2 y2j ;2 );yI(P2,Pi；XY)P2(xy)logp2(xy) dxdy g(x)h(y)1P2(xy) log(2)dxdyloge P2(xy)1 2(12)2 x-2xxy2y_2y2 x-2x2 匕2ydxdy10g eI(Pi,P2；XY)J(P2,P

14、i；XY)2)_ 2E(X )2_2-E(Y )yE(XY)1log(2)12P1(xy)l0g 喘dxdylog( J)，1、10g( 12)10g e2(12)2_2-E(X )x2_2-E(Y )y-E(XY)y22 log eI(P2,Pi；XY) I(Pi,P2；XY)22 loge当xy满足P1(xy)分布时,I (X;Y)0;当xy满足p2(xy)分布时,I (X ;Y)1 I(P2, Pi； xy) log(), 122.17 解:2.18 I(P2,Pi；X) I(q2,qi；X |Y)P2(xk)log kP2(xk)P1(xk) kq2(Xk lYj) q2(xk |yj

15、)h2"j)10gqE |yj)其中q2(xyj) h2(yj)q1(Xk,yj) hi(yj)kq2(Xk,yj)P2(Xk)kqi(Xk,yj) Pi(xj于是 I(P2,Pi；X) I(q2,qi；X |Y)q2(Xk,yj)logP2(Xk) qi (Xk |yj)Pi(Xk) q2(Xk |yj)q2(Xk,yj)logqi(Xk,yj)Pi(Xk) hi(yj)h2(y)P2(X)q2(Xk,yj)当 q2(Xk,yj) P2(X)hz(y),且 qi(Xk,yj) Pi(Xk)hi(yj)时I(P2,Pi；X) I(q2,qi；X |Y)=0当 q2(Xk,yj) P2

16、(X)h2(y),且 qi(Xk,yj) Pi(Xk)h(yj)时I(P2,Pi；X) I(q2,qi；X |Y)/ mq1(xk,yj)>q2 (Xk, yj) log / 、£ k jP1(Xk) %(yj)关系不定 2.19 解:10g3, 12 个天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为1 1,球中的不等重球（可较轻，也可较重）的不确定性为:log 一 一log 24 因为 31og312 2>log243次测量可以找出该球 具体称法略。第三章习题答案3.13.2解：1hm 豆啕 P(X*2, Xn)1Nim P(X*2, Xn)n exp

17、(K角樵中 H (U ) Pi log Pi i iH (U)H (U )10g P(U)NH (U)设该序列中出现0的个数为n0,则出现1的个数为(Nn0),则上式变为13no log - (N n°)1og 441133log log 04444c13 111n0八Plog - log -044 4 NP n01N 4N N 3N13 一C 4 (-)4(-) 4 N mod 4 0440N mod 4 0(2)0.05 时同样可推得典型序列的概率为N 3T4 /VK 1-)4 /V k N ck满足巴N42010g33.3 0.469 bit/sample3.4 1)不妨设M

18、2j没有满足上述条件的kk(j 0,0 k 2j),可进行如下编码：首先作一深度为j的二叉满树，并在2jj叶子节点中取k个节点，以这k个节点为根节点，生成k 个深度为1的子树，于是得到了一个有 2j 2k k M个叶子的二叉树，对此二叉树的叶子按Halfman方法进行编码，即得到最优的二元即时码。 112k2) I - (j 1) 2k - j k j 2k 10g2 M MMM当且仅当k=0,即M 2j时，I log2 M3.5 解:不妨设Ui( i = - -2,-1,0,1,2,)取自字母表aa2 - an,设一阶转移概率为PiP2P12P22P1P2n ,所以在当前码字Uj进行编码时，

19、由Uj 1 ak,对Uj可能的Pn1Pn2Pnn取值，依概率分布(PkiPJ进彳T Halfman编码，即是最佳压缩方案。3.63.70.8011) 7bit/samplebit/sample232) P(1)=7 P(2)=7 如按无记忆信源进行编码, 成 00, 1, 01。P(3)=|则根据信源所处的的1,2,3三个状态对应编码3.83.93.10平均码长为：2 X2+- X 1 + 2x 2=y bit/sample如果按马尔可夫信源进行编码:状态1时状态2时状态3时.平均bit/samplea- 0, b - 10, m 11 a- 0, b1无需发任何码字码长：2 gI j 2 2

20、 x1) H(X) = (plog p+qlog q)H(Y)= 一 ( plog p+qlog q)2) p=q=2 时,H(Y) = 1 bit/ 符1131-2-2)(4472bit/sample bit/sampleQ节二元 Halfman: a1 二00, a2 =01, a3=100, a4=101,a7=1111三元 Halfman3.111)证明:1八 2c 611)0277a5=110, a6=1110,码：a1=0, a2=1, a3=20, a4=21, a5=220, a6=221, a7=222H(U) log2 3lP(aj)log P(aj)klog 2 3 P(

21、aj)lj当且仅当P(aj)log P(aj)_ l ；log 2 3 jP(aj)logj log xP(aj)P(aj) j 1log 1P(aj)kL3 j 1 0j 13 lj两1即P(aj)令3（l）k, k=lj为整数，取得等号, 3即 H(U) = 10g 2 31 或 lH(U)log 2 3时,信源字母概率取（1）k的形式。32）设经过j+1缩减,又由于最后一次缩减必剩下3个字母,即k满足：k3.12 1）考虑信源U1 3 1j个满足分布:3 2j ,；k为奇数。a1加）a2C2P(a2)akCkP(ak)其中MKP(ak)Ck k 1对U进行最优编码，则其平均码长K CkP

22、(ak)lk ,如果l取最小,又 lminH (U )log J(U )MlminP(ak)logk 1CkP(ak)logCkP(ak)CkP(ak)KCiP(ai)1(U )(U )(U )H (U )H (U ) C M H (U ) MC min(U )Cmin CCminKP(ak)Ck第4章习题答案a,a.4.1设有离散无记忆信道，输入X :P(ai) P(a2)aK ，输出Y :P(aQbib2P(b)PM)bJJ，当输入/出x和y的互信息I (x;y)也为一随机变量，试证:P(bj)当Var I(x;y)。时，平均互信息I(X;Y)达到信道容量C证明：由Var I(x;y) 0

23、可知，I(x; y)以概率1取常数C ( E I (x; y),所以有I(x;Y)P(bj aJI(x ak；y bj) C满足定理4.3关于离散无记忆信道达到信道容量的充要条件。且此时平均互信息KI(X;Y)p(aJI(ak；Y) Ck 1所以当Var I(x;y) 0时，平均互信息达到信道容量 C。证毕4.2设某信道的输入X取值 1, 1,又信道有加性噪声n其分布密度为1P(n) 4，|n|，求信道容量0， |n| 2答：C = 0.5bit,当输入的概率分布为 P(X 1) P(X1)T时达到信道容量4.3设在图4.10的一般高斯信道中 N(f)N0H(f)1 (f f。)2，试求信道的

24、容量费用函数C(Ps)解:根据(2N(f)H(F )吗dfH(f)一 3 一 5_4 F4 FPs3 f°25 f04N°(1)可推得F的一个方程，如下:(2)解出(3)式，即可求得FC(Ps) f1F 2 logH(f)2 N(f)2-dfNi22 2df foF1 .1 ir 1 ,-logdf log22 F 21 F4Ffotg (川oge故C(Ps)可求。4.4设X和Y为信道的输入和输出，两者均取值于集合A 3色，aC。已知p(x aj Pk, p(y aj|x aj Pkj ,定义 FePkPkj ,求证：k j kH(X|Y) Fe log( K 1) H(P

25、e)其中 H(Fe)Fe log Pe (1 Fe)log(1 R)。证明：法一：构造随机变量 Z ,满足1,当 X YZ0,当 X Y于是 P(Z 1) Pe, P(Z 0) 1 Pe ,从而H(XZ |Y) H(X |Y) H(Z |XY)H(Z |Y) H (X |YZ)又由H(Z |XY) 0 ,可得H(X |Y) H (Z |Y) H(Z |YZ) H(Z) H(X |YZ)(a)而 H(X|YZ) P(Z 1)H(X |Y,Z 1) P(Z 0)H(X |Y,Z 0)等于0RH(X|Y,Z 1) Pe log( K 1)(b)(c)H(Z) H(Pe)将(b), (c)代入(a)可

26、得H(X|Y) Pelog(K 1) H(Pe)成立。法二:证毕H(X |Y)P(ak, aj)P(ak,aj) logk j kjP(aj)P(ak,ak)10g P(ak,ak) k i P(ak)于是有Pe lOg( K1)H(Pe) H(X |Y)PJOg(K 1) PelOgPe (1Pe)lOg(1Pe)P(ak,aj)10gkP(ak,aj)P(ak)P(ak,aJ10gkP(ak,ak)P(ak)(K 1)P(ak,aj) log -j kPeP(ak,ak) log(1 Pe) kP(ak, a j)卜*0g不二P(ak,aJP(ak,ak)l0g 节二P(ak,aj)10g

27、k(K 1)P(ak,aj)PeP(ak)P(ak,ak) log1P(ak,ak)(1 R)P(ak)P(ak,aj)kPeP(ak)(K 1) P(ak,aj)P(ak,ak) 1 (1 Pe) kP(ak)P(ak,ak)KP(ak,aj) j 1PP(ak) k j k(K 1)P(ak)(1 Pe)Pe(1Pe)所以有 H(X|Y) Pe log( K 1) H(R)。4.5已知信道转移概率矩阵如下，求此信道的信道容量。答:0.04bit,当输入等概时达到信道容量。4.6设有信道，输入X的字母表为：0,1,2, ,K1,噪声为独立加性噪声乙证毕Z的取值也在0,1,2, ,K 1集合中

28、，但两者相加为模 K相加，即输出Y X Z卞IK,试求此信道的信道容量 答：log K H (Z),输入等概时达到信道容量XnX 0,1,乙：4.7 设有二元对称信道 Y Xn乙，其中 为模2和,但Zn不是独立随机序列，试证:maxI(X1X2 XN;YY2 YN) NC其中，C 1 H(P) 证明：对任意输入分布有下式成立I(X;Y) H(Y)H (Y |X) H (Y) H (Z) H (Y)H(Zn)n取输入分布P(X1X2 XN)使得序列Y1Y2 YN统计独_1P(Yn 1) P(Yn 0)设这时的互信息为 I '(X1X2 XN;YY2 Yn)NH(Y)H(Yn)N,n 1所

29、以max I(XiX2Xn；YiK Yn)P(XiX2 Xn )I'(X1X2Xn；YiY2NNH(Zn) Nn 1Yn)NHz(P)NC证毕X Z2 , X4.8 设有输入为X,输出为Y Y YJ的高斯信道，其中 Y X Z1 , Y2 22的最大功率受限P, (Z1Z2)N2(0, K),其中K 22 ,试求：1) I(X；YiY2) I(X;Yi) I(X;Y2) I(Yi；Y2) I(Yi；Y2|X)2) 1时的信道容量。1)证明：I(X;YiY2) I(X;Yi) I(X;Y2 |Yi)又由 I(X；Yi；Y2)I (X；Y2) I(X；Y2 |Yi) I(Y；Y2) I(Y

30、i；Y2 |x)所以 I(X；Y21Yi) I(X；Y2)I(Yi；Y21X) 1(丫,丫2)代入(a),可得 I(X；YiY2) I(X；YJ I(XY) Kyy) IgYlX)。证毕,一 1 . 一 P 2)答：C 210g(1 )，当输入是方差为 P的高斯分布时达到信道容量。第5章习题答案5.1 设有码C,在用此码传输时能使 H(U|Y) 0 (式中U表示码字矢量，Y代表接收矢量)，试证此时的码率 R必小于该信道的信道容量C。(提示：H(U) H (U | Y) I(U;Y)证明：H(U) H(U |Y) I(U;Y) I(U;Y) I(U;Y)R max CNNNN所以结论成立。 证毕

31、5.2 设用码字母表大小为 J,码长为N的分组码试通信道容量为 C的信道传输信息，试证：收端译码的差错概率 Pe满足Pelog J证明：由4.4证明可知Pe log( K1) 1H(X |Y) Pe log( K 1) H(B)P 口工 H(X) I(X;Y) 1 H(X |Y) 1 Pelog(K 1) R CNNNN而K JN ,故_NR C 工 PeJ1) Pe log JNN11故Pe R C log JN5.7设(6, 3)二元线性码的生成矩阵10 10 11G 0 111100 0 0 1 1 1a.试找出G的行缩减梯形法式表示;10 0 111答：G' 0101010 0

32、 10 11b. 求监督矩阵H ;1 1 10 0 0答：H 100110110 1 0 1c.找出最小重陪集首项；伴履式陪集首000000000001000001010000010011000100100001000101010000110001010111100000d. 在B.S.C信道中对接收矢量111010, 000011, 101010进行译码；答：111010译码为 110010; 000011 译码为 000111, 101010译码为 101011。5.9 设有码如下表示：信息码字0000000010110110101111111010a.找出生成矩阵G与监督矩阵H;答：G

33、b.在B.S.C下给出最大似然译码的译码表;答：译码表如下：伴随式陪集首0000000001101101111101000100001011001011011011010000100111110101110000110001101110101001100110000100010011001111110101010000010111111100101101000111100001100101111110000111010011101010译码结果00000011011011111010c.求正确译码的概率。答：pe (1)5 5 (1)4 2 2(1)35.10 试证：a.二元线性码中码字重必全

34、为偶数或奇偶各半；b. (n, k)码的平均码字重不超过 %。证明：a.首先证明如下事实：偶重码字与偶重码字之和为偶重码字，奇重码字与奇重码字之和为偶重码字，奇重码字与偶重码字之和为奇重码字。设码字Ci,C2为偶重码字，即w(Ci) 2n , w(C2) 2m,设C1，C2码字有h个1的位置是相同的，于是有w(C1 C2) 2n 2m 2h ,所以偶重码字和偶重码字之和为偶重码字。类似可得其他结论成立。因为码字是由生成矩阵 G得到的，即g1C UG Ui, U2 Uk g2，其中g1 ,g2gk是生成矩阵的行向量。gk1)如果生成矩阵的所有行向量重为偶，则由偶重码字之和为偶重码字可知，所有的码

35、字重都为偶重码字；2)如果生成矩阵的k个行向量中存在至少一个向量其重为奇，不妨设该向量为g1 ,它对应的消息位为U1,记Nio为U1取1时，码重为奇的码字数，相应的码字集合为Sio, N0o为Ui取0时，码重为奇的码字数，相应的码字集合为S0o ,记N1e为u1取1时，码重为偶的码字数,相应的码字集合为Sie，Noe为Ui取0时，码重为偶的码字数，相应的码字集合为Soe，Uikgk ,因为g1，Ci为奇下证有 NioNoe成立：CiSio,有 Cigi Ui2g2重，所以Ui2g2Uikgk为偶重，从而必存在一个Ci'Soe ,且满足Ci' 0gi Ui2g2Uik9k，即Si

36、o和Soe存在 对应的关系，所以有 Nio Noe成立。类似可证Noo Nie又奇重码字数=NioNoo ,偶重码字数"Nie Noe,所以有奇重码字数二偶重码字数证毕c.将2k个(n,k)码排成一个矩阵C；Ci2c2C2cncn2k kk krtkCi2C|C：记上述矩阵的第j列为cj c； c2i i 2k,i j no则平均码重为2k TiC2,第i行即第i个码字为Ci ,其中i,j满足iw k2k2kw(Ci)1 2k n .- Ci okCj2 i i j ii2knw(Cj)对Cj的情况进行讨论:i)如果Cj o,即生成矩阵存在全零列，则有w(Cj)。；2)如果Cj o

37、,即存在Cj i ,则由线性码的性质，m,必n,满足Cm Ci Cn ,所以有C： Cj C；,从而有Cm C；,所以第j列中i和o的个数必相等，即有w(Cj)2k io综上有 w 工w(Cj) ；n 2k1 - o2'、j i '2'、2第6章习题答案6.1 设已知离散无记忆信源在给定失真量度d(k,j),k 1,2, ,K,j 1,2, ,J下的信息速率失真函数为 R(D),现定义新的失真量度d(k,j) d(k,j) gk。试证：在新的失真量度下信息速率失真函数R(D)为R(D) R(D G),其中Gp(ak)gk <k证明：对离散无记忆信源R(D) min

38、 I(U;V),E d(U ,V) DR(D) min I (U;V),E d (U,V) Dmin I(U;V),E d(k,j) gkDmin I(U;V),E d(k,j) E gkDmin I(U;V),E d(k,j) E gk D而E gkp(ak)gk G,故上式可表示为kR(D) min I(U;V),E d(k, j) D G R(D G)证毕6.2 设有带宽为4kHz的限带白色高斯信源，欲通过信道容量为16 kb/s的信道传输，试求在理想情况下信道输出端可能得到的最大信噪比。答：理想情况下，当 R C可以实现无误传输，即PR F log- C 16000将数值代入，可得24

39、 16D6.3 设 n (n正交矩阵。所以可能达到的最大信噪比为16。1,2, ,N）是N个正交规范化的N维向量。A是由（:2, , N）组成的N维随机向量X在正交变换下得到新的随机向量Z, ZATX ,其中XXi, X2,T,Xn , ZZ1 ,Z2,2nN2 nn 1NH(Z)nlOg nn 1试证：所有正交变换中，K L变换所又拉的Z有最小的嫡H(Z)证明:Un1)设随机向量X的相关矩阵为R,对应的K-L变换为矩阵U Ui U2的特征值为1,2, N ,由题目条件可知zn (an)TX ,由 EX 0 ,知 Ezn 0 , 1:Ez2E(an)TXX Tan ( an )T R an ,

40、 12) an 可展开为 anbn1U1bn2U2 bnN Un, 1n(bn1uTbn2uTbnNuN)R(bn1u1bn2u2bnN u N )b22由于 n是正交规范化向量，所以12 bni bn22b2Ni j,(一)T( aj)bi1bj1bi2bj2加bjNbnb1N令矩阵B,于是有BBTbN1bNNNbi2 i 11,N 所以n 1Nb21n 1b223)记h( n)nlOg(bn1 1 bn2 2biN N ) log( bn1 12 2b2NN)H(Z)h( n)h(b：112一b2NN12-)N由嫡函数的凸性，及bnNH(Z) h(1) b22h(2)n 112N12N将(

41、a)式代入上式，可得NH(Z) h(n),n 112Nb；Nh(N)12N不等式右边即为K-L变换所对应得嫡，所以结论成立。6.4设无记忆信源1,0,1p(x) 1/3, 113, 13接收符号A失真矩阵答:D min，试求:_和Dmm及达到口1_Dmin时的转移概率矩阵1,当转移概率矩阵为满足0Dmax当转移概率矩阵为满足06.5已知二元信源X:0,p,以及失真矩阵dkj1)Dmin ；2)Dmax ,3)R(D)。答：Dm.0；Dmax min p,1 p;R(D) H (p) H(D),其中 H (D)D ln D (1 D)ln(1 D) , 0 D Dmax。6.6 设有总功率为10

42、 mW的限带（05 kHz）白色高斯信源通过加性白色高斯噪声信道传 输，后者的带宽为010 kHz,噪声的单边功率谱密度为1 W/Hz,容许最大输入功 率为20 mW。试求在理想情况下接收信号可以达到的最小均方误差。答：R Fln 且 50001n 10, DDC Wln(1 -P) 100001n(1 20), N0W10理想状况下，R C ,所以接收信号可以达到的最小均方误差为G(f)A, |f| F10,|f| F110mW。96.7 设有平稳高斯信源X (t),其功率谱为失真度量取d(x,y) (x y)2,容许的样值失真为D,试求:1)信息速率失真函数 R(D);2)用一独立加性高斯

43、信道(带宽F2 ,限功率P,噪声的双边功率谱密度迫)来传送2上述信源时，最小可能方差与 F2的关系答:2AFR(D) F1 log(-DF1);P 三 D 2AFM1 ) F1 ,即最小可能方差为2AFM1N0F2N0F2F2)Ho6.8设有矢量信源，其各分量XkN 0, ： , k 1,2, ,K,是K个独立的随机变量,K2失真d X1X2 XK；?1x2 ?kXk xk ,试证：在此条件下k 1R(D)1.-logk 1 2当 ，2苴中 Dk,k八丁， j2 当2k , 口k证明：r(d) min i(x；)?),Ed(x,)?)q(邓)K满足DkDk 1KminH(x) H(X|)?),

44、为 * 2 Dq(?|x)H(X|交)H(x1|X?2治) H(X2|X>X2H(Xn|x1?2 XKX1X2 Xk)H(X1|X1) H(X2|02)H(Xk|?k)所以有I(X£)H(Xi) H(Xi|?i)I(x;?i)等号当且仅当在转移概率满足独立性条件时，即q(X1?2 Xk |xiX2 xk) q(X1 |xi)q(X2 |X2) q(?K |xk)所以要使互信息最小，必定要设计编码器的转移概率独立，由于输入统计独立，所以只 要设计各组成分量的互信息最小，而各组成分量的互信息的最小值为1R(Dk) -log ,0 Dk , 2 Dk所以求R(D) mx)I(X；)?

45、)，Ed(X，)?)D即在约束条件0DkKDkk 1下求R(D)min1. k5logD?由拉格朗日求极值方法可知当Dk2;，且满足kKDkk 1D时R(D)取得最小值。6.9设有离散无记忆信源X经编码后输出Y,失真矩阵的所有列是集合di,d2, ,dm的某一置换定义函数(D)max H(P)p； Pdi di 11)证明(D)是D的上凸函数;2)证明：I(X;Y) H(X) (D) 证明1)设概率分布P'满足 PdiD1 ,令满足H(P')(D1)的嫡函数为H1 ,设P满足Pdi D2 ,令满足 H(P ) (D2)的嫡函数为 H2 ,定义P 1P' 2P ,且有121,01,21,则有Pidi1Pdi 2Pdi 1D12D2D(a) 又由嫡函数的凸性可知,H(P) 1H12H21 (D1)2 (D2)又由 (D) 的定义可知(D) H (P) ，所以有(b)(D)1 (D1)2 (D2)由(a), (b)可知函数 (D)是D的上凸函数<证毕>2)mmmmD Ed(x,y)P(xiyj )d(xi, yj) i1 j1P(yj )P(xi |