信息与编码习题答案.doc

2-5解：设事件v为女孩是大学生，事件u为身高1.6米以上的女孩，由题意可知： P(v)=0.25,P(u/v)=0.75,P(u)=0.5因为：P(v/u)=P(u,v)/P(u) = P(v) P(u/v)/ P(u) =(1/4*3/4)/(1/2)=3/8所以： I(v/u)=log(8/3)=1.42bit 2-7解：(1) 每个符号携带的自信息量：I(0)=log3/8=1.42bit, I(1)=log1/4=2bitI(2)=log1/4=2bit, I(3)=log1/8=3bit (2)消息序列的自信息量： I=14I(0)+13I(1)+12I(2)+6I(3)=87.8bit 平均每个符号携带的信息量为 I/n=87.8/45=1.95比特/符号2-13解：(1)H(X)=1; H(Y)=1; H(Z)=7/8*log(8/7)+1/8*log8=0.54 H(YZ)=H(XZ)=H(X)+H(Z/X) =1+1/8*log4+3/8*log(4/3)=1.41 H(XYZ)=1.81(2) H(X/Y)=H(Y/X)=H(XY)-H(X)=1.81-1=0.81 说明：H(XY)=2*3/8log(8/3)+1/8log8=1.81 H(Z/Y)=H(Z/X)=H(XZ)-H(X)=0.41 H(Y/Z)= H(YZ)-H(Z)= 1.41-0.54=0.87 H(X/Z)=H(XZ)-H(Z)=1.41-0.54=0.87 H(X/YZ)= H(XYZ)-H(YZ)=1.81-1.41=0.4 H(Y/XZ)= H(XYZ)-H(XZ)=1.81-1.41=0.4 H(Z/XY)= H(XYZ)-H(XY)=1.81-1.81= 0(3) I(X;Y)=H(X)-H(X/Y)=1-0.81=0.19 I(Y;Z)=I(X;Z)=H(X)-H(X/Z)=1-0.87=0.13 I(X;Y/Z)=I(X;YZ)-I(X;Z) =H(X)-H(X/YZ)-I(X;Z) =1-0.4-0.13=0.47 I(Y;Z/X)=I(X;Z/Y)=I(X;YZ)-I(X;Y) =H(X)-H(X/YZ)-I(X;Y) =1-0.4-0.19=0.41 2-16解：(1) H(X)= -P(黑)*log P(黑)- P(白)*log P(白) =0.3*log(1/0.3)+0.7*log(1/0.7) =0.5211+0.3602 =0.88133-1解：（1） H(X)=3/4log4/3+1/4log4=0.815bit/符号（2）由于是对称DMC信道，所以 C=log2-H(2/3,1/3)=1-0.918=0.082bit/符号此时输入为等概分布，即p(x1)=p(x2)=1/25-1平均码长编码效率5-5解（1）信源熵：H(u)=H(1/2,1/4,1/8,1/16,1/32,1/64,1/128.1/128)=1/2+2*1/4+3*1/8+4*1/16+5*1/32+6*1/64+7*2*1/128=127/64=1.98bit/符号（2）出现一个“1”的概率出现一个“0”的概率：P(0)=1-P(1)=0.8（3）由题可知，平均码长为所以编码效率为：（5）香农码和费诺码码字相同5-10解（1）信源熵为H(X)=H(0.37,0.25,0.18,0.10,0.07,0.03) =-0.37log0.37-0.25