信息论与编码北京邮电大学出版社课后习题答案的课件

1、题目 2-2设在一只布袋中装有100只对人手感觉全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列3中情况：（1）红色球和白色球各50置；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。求从布袋中随意去除一只球时，猜测其颜色所需要的信息量。8/16/20221分析 取出一个球，其颜色可能是红色、白色、蓝色或黄色。都有可能，但各种颜色的不确定度不同，即出现概率不同。 要求猜测其颜色信息所需要的信息量也就是要求取出一个球所包含的平均信息量（信源熵）。 根据H（X）的定义，就可求出。8/16/20222解答根据定义 H（X）= -得：随意取出一球时，所需要的信息量为 （1）

2、P（红）= P（白）=1/2 H（X）= = 1比特8/16/20223（2）P（白）= 1/100 P（红）= 99/100所以 H（X）= = 0.08比特 8/16/20224（3）P（红）=P（白）=P（蓝）=P（黄）=1/4所以 H（X）= 4 x （ ） = 2比特 8/16/202252-2解：(1)P（3,5）= 1/36+1/36= 1/18 I （3,5）= log18 = 4.17 bit(2)P（1,1）= 1/6*1/6= 1/36 I （1,1）= log36 = 5.17 bit(3)H（X）=1/36*6*log36+2/36*15*log18 =4.337 b

3、it(4)H（X）=2*(1/36*log36+2/36*log18 +3/36log12+4/36log9+5/36log36/5)+6/36log6 =3.274bit 8/16/20226(5) I(1,X)=log36/11=1.7105bit2-3解：因为：P(v/u)=P(u,v)/P(u)=(1/4*3/4)/(1/2)=3/8所以： I=log(8/3)=1.42bit 8/16/202272-4解：平均信息量 h(X)=3/8log(8/3)+2/4log4+1/8log8 =1.905比特/符号信息量 H(X)=60*1.905=114.3比特8/16/202282-5解：

4、（1）I=log18=4.17bit（2）略 8/16/202292-6解：平均每个符号携带的信息量： H(X)=14/45log(45/14)+13/45log(45/13) +12/45log(45/12)+6/45log(45/6) =1.95比特/符号 (2)消息自信息量： I=1.95*45=87.88/16/2022102-7解： I(2)=log2=1 I(4)=log4=2 I(8)=log8=38/16/2022112-8解：(1)I(点)=log(4/3)=0.42 I(划)=log4=2(2)平均信息量： H(X)=1/4log4+3/4log(4/3)=0.81 8/1

5、6/2022122-9解：不确定度即为H(X)(1)H(X)=1/3log3+2/3log(3/2) =0.39+0.53=0.92bit(2)H(X)=4/14log(14/4)+10/14log14/10 =0.346+0.516=0.86bit(3)H(X)=5/14log(14/5)+9/14log(14/9) =0.41+0.53=0.94bit(4)H(x)=1/3*0.86+2/3*0.94=0.92bit8/16/2022132-10解：(1)H(colour)=2/38log19+2*(18/38)log(38/18) =0.22+1.02=1.24bit(2)H(colou

6、r,number)=H(number)=log38 =5.25bit(3)H(number|colour)=H(c,n)-H(c) =5.25-1.24=4.01bit 8/16/2022142-11解：(1)H(X,Y)=14/24log(24/7)+4/24log24+1/4log4 =2.3bit(2)H(Y)=8/24log3+8/24log3+8/24log3 =1.58bit(3)H(X/Y)=H(X,Y)-H(Y)=0.728/16/2022152-12解：(1)H(X)=1; H(Y)=1; H(Z)=7/8*log(8/7)+1/8*log8=0.54 H(YZ)=H(XZ)

7、=H(X)+H(Z/X) =1+1/8*log4+3/8*log(4/3)=1.41 H(XYZ)=H(XZ)+H(Y/XZ)=1.41+0.4=1.818/16/202216(2) H(X/Y)=H(Y/X)=H(XY)-H(X)=1.81-1=0.81 说明：H(XY)=2*3/8log(8/3)+1/8log8=1.81 H(Z/Y)=H(Z/X)=H(XZ)-H(X)=0.41 H(X/Z)=H(XZ)-H(Z)=1.41-0.54=0.87 H(Z/XY)=0 8/16/202217(3) I(X;Y)=H(X)-H(X/Y)=1-0.81=0.19 I(Y;Z)=I(X;Z)=H(

8、X)-H(X/Z)=1-0.87=0.13 I(X;Y/Z)=I(X;YZ)-I(X;Z) =H(X)-H(X/YZ)-I(X;Z) =0.6-0.13=0.47 I(Y;Z/X)=I(X;Z/Y)=I(X;YZ)-I(X;Y) =H(X)-H(X/YZ)-I(X;Y) =1-0.4-0.19=0.41 8/16/2022182-13解：H(IJ)=4*(1/8)*log8+2*(1/10)log10+2/15*log15 +3/36*log36+1/12*log12 =3.4158/16/2022192-15解：I(a1;b1)=log =logP(b1)=P(b1,a1)+P(b1,a2)

9、=P(b1/a1)P(a1)+ P(b1/a2)P(a2) =(1-)*(1/2)+1/2* =1/2P(a1,b1)=1/2*(1-)P(a1/b1)= P(a1,b1)/P(b1)=1- 8/16/202220I(a1,b1)=log2*(1-)I (a1;b2)=logP(b2)=P(b2,a1)+P(b2,a2)=P(b2/a1)P(a1)+ P(b2/a2)P(a2) =(1-)*(1/2)+1/2* =1/2P(a1,b2)= P(b2/a1)*P(a1)= 1/2* P(a1/b2)=P(a1,b2)/ P(b2)=I (a1,b2)=log2 8/16/2022212-16解：

10、H(X)= -P(黑)*log P(黑)- P(白)*log P(白) =0.3*log(1/0.3)+0.7*log(1/0.7) =0.5211+0.3602 =0.88138/16/202222(2) H(X)=P=W1=0.9143W1+0.0857W2W2=0.2W1+0.8W2得 W1=0.5,W2=0.5H(X)=0.5138/16/2022232-17解：I(X)=log =3* *7=2.1* I(Y)=log = 13288Log =2.1*X=2.1* /13.288=158038个8/16/2022242-18解：由得 k=1/2所以 8/16/2022252-20解：

11、（1）已知所以 8/16/202226（2）已知所以8/16/2022272-23 略8/16/2022282-24解： (1) (2)8/16/202229(3)8/16/2022302-25解：0.25p(0)+0.5p(1)=p(0)0.75p(0)+0.5p(1)=p(1)P(0)+p(1)=1得：P(0)=0.4;p(1)=0.68/16/2022312-26解：1/2 W1+1/3W2 +1/3W3 = W11/2 W1+2/3W3 = W22/3W2 =W3W1 +W2 +W3=1 8/16/202232得： W1=2/5；W2 =9/25；W3=6/25 8/16/2022332-27解： 0.8W1+0.5W3=W1 0.2W1+0.5W3=W2 0.5W2+0.2W4=W3 0.5W2+0.8W4=W4 W1+W2+W3+W4=1 8/16/202234得： W1 =5/14 W2=2/14 W3=2/14 W4=5/14 8/16/2022352-28解：由 2/3W1+W2=W1 1/3W1=W2 W1+W2=1