信息理论与编码参考答案

1、一副充分洗乱的牌(含 52张)，试问：(1) 任一特定排列所给出的不确定性是多少(2) 随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少解：(1)52张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数， 为P5?528.066 1067因为扑克牌充分洗乱， 任一特定排列出现的概率相等，设事件A为任一特定排列，则其发生概率为P A 1.24 10 6852可得，该排列发生所给出的信息量为I AIog2P A Iog2 52 225.58 bit67.91 dit(2)设事件B为从中抽取13张牌，所给出的点数互不相同。扑克牌52张中抽取13张，不考虑排列顺序，共有C；种可能

2、的组合。13张牌点数互不相冋意味着点数包括A, 2,K而每-种点数有4种不冋的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为413。因为每种组合都是等概率发生的，所以P B41341313391.0568 10 4c5；52则发生事件B所得到的信息量为I Blog PBIog241313 13.208 bitC523.976 dit设在一只布袋中装有 100只对人手的感觉完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：(1) 红色球和白色球各 50只；(2) 红色球99只，白色球1只；(3) 红，黄，蓝，白色各 25只。求从布袋中随意取出一只球

3、时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令R “取到的是红球” ，W- “取到的是白球”，Y-“取到的是黄球”,B“取到的是蓝球”。(1)若布袋中有红色球和白色球各50只，即501P RP W 100 2则I R IW1Iog2log 2 2 1 bit(2)若布袋中红色球99 只,白色球1只，即XX1x2X3X4X5X5FX0.2 0.190.180.170.160.1766求PiXi log 2 PXi ，井解释为什么P Xilog 2P Xlog 2 6极值性。解：6P Xilog 2 P Xi设信源为i,不满足信源熵的991000.99 P

4、W1000.01(3)Iog2 P Rlog2 0.990.0145 bitIog2P WIog2 0.016.644 bit若布袋中有红，黄,蓝，白色各 25只,即251而4 log21 2bit0.2log2 0.2 0.19log20.19 0.18log20.18 0.17log20.17 0.16log20.16 0.17log20.172.657 bit/symbolP Xi log2P Xilog 2 62.5856不满足极值性的原因是P Xi1.07 1 ,不满足概率的完备性。i大量统计表明，男性红绿色盲的发病率为7%女性发病率为%如果你问一位男同志是否为红绿色盲，他回答“是”

5、或“否”。（1）这二个回答中各含多少信息量（2）平均每个回答中含有多少信息量（3）如果你问一位女同志，则答案中含有的平均信息量是多少解：对于男性，是红绿色盲的概率记作P a17% ,不是红绿色盲的概率记作P a293%，这两种情况各含的信息量为I a1log2 1/ P a1I 100I a2 log 2 1. P a2log2100933.83 bit0.105 bit平均每个回答中含有的信息量为P a1 I (a1) P a2 I (a2)7933.830.1051001000.366 bit/ 回答对于女性，是红绿色盲的概率记作Pbl0.5% ,不是红绿色盲的记作P b299.5% ,则

6、平均每个回答中含有的信息量为H B P b I(D)P b2I(b2)510009951000log 2log 21000510009950.045 bit/回答H A H B联合熵和条件熵任意三个离散随机变量 X、Y和Z,求证：H(XYZ) H(XY) H(XZ) H(X)。证明：方法一：要证明不等式 H X,Y,Z H X,Y H Z,X H X成立，等价证明下式成立：H XlYlZH XlY H XlZ H X 0根据熵函数的定义H XiYiZ H XiY H XiZ H XP XiyjZk IogP XiyjZkP XyjZk IogP XiyjXYZXYZP XiyjZk log P

7、 XiZkP XiyjZk logp XXYZXYZPXyjzk P XiP XiyjZk log得证X Y ZPXyjP XiZklog eXYZPXyjP XiZkP XyjZkXYZP Xilog ePyjlXiP XiZkP XyjZkXYZXYZlog e 1 10所以H XiYiZ H XiY H XiZH X等号成立的条件为P Xiyj PXZkP Xi PXyjZkIP Xiyj P XZk亠白、人才毕十、log eP XiyjZk- - 1(信息论不 等式)X Y ZP XiyjZk P X方法二：因为H(XYZ) H(XY) H (Z | XY)H(XZ) H(X) H(Z

8、lX)所以，求证不等式等价于H(ZlXY) H(Z |X)设随机变量X X1,X2因为条件多的熵不大于条件少的熵，上式成立，原式得证。0,1和Y y, y20,1的联合概率空间为XY(,y)y2) (X2,y1) (X2,y2)P(Y1 83 83 81 8定义一个新随机变量 ZXY (普通乘积)。(1) 计算熵 H(X)、H (Y)、H(Z)、H (XZ)、H (YZ)以及 H(XYZ)；(2) 计算条件熵 H(XIY)、H(YIX) > H(XIZ)、H(ZIX) > H(YIZ)、H(ZIY) >H(X YZ)、H (Y I XZ)以及 H(ZIXY)；(3)计算互信息

9、量 l(X；Y)、l(X；Z)、l(Y;Z)、l(X;YIZ)、I (Y;Z IX )以及解（1）PX0PX0,yPX11PX 0HXiPy0PX0,yPy11Py 0I(X;ZIY)；H Y00,y1131P X88212P Xilog PXi1bit/symbol1310P X1,y088212P yj IOg P yj1 bitsymboljP(Z 0)P(Xy 00) P(Xy01) P(Xy 10)7 1P(Z 1)1 P(Z 0)1 -8 8可得Z XY的概率空间如下ZH(Z)P(Zk)KP(Z)1P(X 0,z1) P(X O)P(Z 1x0)002P(X 1,z 0)P(X 1

10、,z 1)P(X 1)P(z O X 1)P(X 1)P(y O X 1)3P(X 1,y O) 8P(X 1)p(z1 X 1)P(X 1)p(y 1X 1)P(X 1,y 1)H(XZ)P(XZk)i k1IOg -2 2由对称性可得由 P(XyZ)P(XyIP(ZXy), 又P(X0,y0,z0)P(XP(X0,y0,Z1)P(XP(X0,y1,Z0)P(XP(X0,y1,Z1)P(XP(X1,y0,z0)P(XP(X1,y0,z1)P(XP(X1,y1,z0)P(XP(X1,y1,z1)P(X0,y0,y0,y0,y1,y1,y1,y1,yH (XYZ)33 1log log -88

11、881.406bit / symbolH(YZ) 1.406bt/symbol等于1,0)p(z0)p(z1)p(z1)p(z0)p(z0)p(z1)p(z1)p(z0x或者等于0.0)1log -8 80,y0)1 0800,y1)P(X0,y1)0,y1)?0801,y0)P(X1,y0)1,y0)?0801,y1)1 0801,y1)P(X 1,y 1)10,y0)P(X0,y0 X11 X0 X11 X0 X38381 X1 XP(XiyjZk) l0g2P(XyjZQk3311log log -88 881.811 bit / symbolHXY - 1log1 3log3 3log

12、38 8 8 8 8 81log18 81.811bit /symbolHXZY =H XY -H Y 1.811 10.811bit Z symbol根据对称性,(2)H Y/X=H X |Y0.811bit / symbolH X /Z =H XZ -H Z 1.4060.5440.862bit / symolH Z /X =H XZ -H X 1.40610.406bit / symol根据对称性，H Y/Z=H X/Z0.862bit / symbolH Z/Y=H Z/X0.406bit / symolH X/YZ =H XYZ -H YZ 1.8111.4060.405bit /

13、symol根据对称性，把 X和Y互换得H Y/XZ =H X/YZ0.405bit / symbolH Z /XY =H XYZ-HXY 1.8111.8110bit / symolI X;YHXHX/Y 10.8110.189bit / symbolI X;ZHXHX /Z 10.8620.138bit / symbol根据对称性,得I Y;ZI X;Z0.138bit / symbolI X;Y/ZH X/Z H X/YZ 0.862 0.405 0.457bit / SymbOlIY;Z/XH Y/XH Y/XZ0.811 0.405 0.406bit /symbol根据对称性得I X;

14、Z/Y I Y;Z/X 0.406bit/symbol设信源发出二次扩展消息 Xiyi,其中第一个符号为 A、BC三种消息，第二个符号为 DE F、G四种消息，概率P(XJ和P(yQXi)如下：P(X)ABC1/21/31/6D1/43/101/6p(yi)E1/41/51/2F1/41/51/6G1/43/101/6求二次扩展信源的联合熵H (X-Y)。解：联合概率为p(i,yj) p(yj IXi)P(Xi)可得X,Y的联合概率分布如下:P(Xi yJABCD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36所以H(X,Y)P(Xiyi)IogP

15、(Xyi) 3.415 比特 /扩展消息XY设某离散平稳信源 X ,概率空间为X 012P1136 4 9 14并设信源发出的符号只与前一个相邻符号有关，其联合概率为P（ai Hj）如下表所示:P(q,aj)Qi01201/41/180aj11/181/31/18201/187/36求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。 解：边缘分布为条件概率p(jai)p(aiaj),p(ai)如下表:所以信源熵为P(aja)ai012aj09/111/8012/113/42/9201/87/93H(X)p(ajog p(a)H(11,4,1)1.542 bit / symbol36

16、9 4条件熵:33H(X2.X1)p(ajaj)log p(ab'a)i 1 j 1H(Xi) H(XXI)0.87 bit.symol可知H(XXI) H(X)因为无条件熵不小于条件熵，也可以得出如上结论。联合熵：33H (X1,X2)P(aiaj)log paj)i 1 j 1H(X1) H(XXI)2.41 bit；二个符号说明：(1) 符号之间的相互依赖性造成了信源的条件熵H (X2JXI)比信源熵H(X)少O(2) 联合熵H(X1,X2)表示平均每两个信源符号所携带的信息量。平均每一个信源符号所 携带的信息量近似为1H(X ) = -H (X1,X2)1.205 bit 符号

17、 H(X)2原因在于H2(X)考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符 号相关性的不确定度。黑白气象传真图的消息只有黑色(B)和白色(VV两种，即信源 X B, VW ,设黑色出现的概率为P(B) 0.3 ,白色的出现概率为 P(Vy 0.7 O(1) 假设图上黑白消息出现前后没有关联，求熵H (X)(2) 假设图上黑白消息出现前后有关联，其依赖关系为P(WWy 0.9, P(BIVy 0.1 ,P(WfB) 0.2 , P(BIB) 0.8 ,求此一阶马尔可夫信源的熵Hq(X)。(3) 分别求上述两种信源的剩余度，并比较H(X)和H2(X)的大小，试说明其物理意义。解

18、：(1)假设传真图上黑白消息没有关联，则等效于一个DMS则信源概率空间为信源熵为XBW“P(X) 1P(X)0307XH(X)2p(a)log p(aj)i 1H (0.3,0.7)0.7 log 0.7 0.3log 0.30.881 bit . symbol(2)该一阶马尔可夫信源的状态空间集为S W,B根据题意可得状态的一步转移矩阵W BW0.9 0.1B0.2 0.8状态极限概率 p(W), p(B)满足P(Sj)P(SjSj S)P(Si ISj),SiP(Si)1S即P(W)P(W IW)P(W)P(WIB)P(B)0.9P(W)0.2P(B)P(B)P(BIW) P(W)P(BI

19、B)P(B)0.1 P(W)0.8P(B)P(W)P(B) 1可以解得2 1P(W) -，P(B)-3 3该一阶马尔可夫信源的熵为H2P(Sj)H(XISj)SjP(B) -0.2log0.2 0.8log0.8P(W -0.9log0.90.1log0.11H (0.2,0.8) -H (0.9,0.1)3 3120.7720.4690.553 bit/symbol33(3) 黑白消息信源的剩余度为0.1190.447H(X)0.881I = 11log 2log 2一阶马尔可夫信源的剩余度为,H2,0.5532 1 1log 2 log 2由前两小题中计算的 H(X)和H2比较可知H( X

20、) H2 即 I 2该结果说明：当信源的消息(符号)之间有依赖时，信源输出消息的不确定性降低。所以， 信源消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大，信源消息之间依赖关系就越大。设信源为XX1 X2 IPx =% 灯试求：(1) 信源的熵、信息含量效率以及冗余度；(2) 求二次和三次扩展信源的概率空间和熵。解:( 1)134H(X) log 4 log0.811 bit/ 符号4 430.811log 281.1%1-0.189(2)假设X为DMS则P(X1X2)P(XI)P(X2)P(

21、X1X2X3)P(XI)P(X2)P(X3)可得二次扩展信源的概率空间X2X2X1X2X1X2X2P2X1X1%6 %6 316 %62次扩展信源的熵为h(x2)2H (X)1.622 bit/2元符号三次扩展信源的概率空间及熵为X3pX3X1X1X1 X1X1X2164%4X1X2X1 X1X2X2 X2X1X1 X2X1X2 X2X2X1 X2X2X23939927.64646464. 64643H(X )3H(X)2.433 bit/3元符号均按设有一个信源，它产生0,1符号的信息。它在任意时间而且不论以前发生过什么符号,p(0)0.4, p(1)0.6的概率发出符号。(1)试问这个信源

22、是否是平稳的(2)H(X3X1X2)H(X3)(信源无记忆)P(Xi)IOg P(X)i(0.4log 0.4 0.6log 0.6) 0.971bit； SymbOlH lim H(Xn. X1X2L XN 1) H (XN)0.971bit symbol(3) H(X4) 4H (X)(信源无记忆)4 (0.4log 0.4 0.6log 0.6)3.884 bit . 4元符号X4的所有符号：0000 0001 0010 0011 0100 0101 0110 01111000 1001 1010 1011 1100 1101 1110 1111设信源为Xx1x2 IPX =14 %】试

23、求：(1) 信源的熵、信息含量效率以及冗余度；(2) 求二次和三次扩展信源的概率空间和熵。解:( 1)134H (X)-log 4 log0.811 bit/ 符号4430.811log 281.1%1-0.189(2)假设X为DMS则P(X1X2) P(XI)P(X2)P(X1X2X3) P(X1)P( X2)P(X3)可得二次扩展信源的概率空间X2Px2X1X1 X2X1 X2X X2X216 %6 316 %6(3)2次扩展信源的熵为2H(X) 2H (X)1.622 bit/2元符号f (X) = b020 x a其他三次扩展信源的概率空间及熵为X3X1X1X1X1X1X2X1X2X1

24、X1X2X2X2X1X1X2X1X2X2X2X1X2X2X2PX3%43 643649643649649642764H(X3)3H(X)2.433bit / 3兀符号设连续随机变量X的概率密度函数为（1）求X的熵;(2)求 Y = X+ A(A> 0)的熵;（3）解:（ 1）求Y = 2X的熵。ah(X) - OfX(X)log f(x)dx-OfXX log bx2dxaa 2-Iogb 0 f(x)dx- 2b。X log XdXa 2-log b- 2bloge 0 X In XdX縮loge-血 loga-logb93因为aOfX(X)dxa 2bx dx 10所以b =32 a

25、故h(X) I log e- 2log a- log33log aIog e- Iog3 Iog a(2) 首先求得Y的分布函数FYy FXAyFXyAy Af(x)dx1, y A aAf (x)dx, A y0, y AY的概率密度为f(y)dFdy2b(y A) , A y A a0,其它Y的微分熵为h(Y)af(y)dyab(y A) 2bt log bt dtogb(y A)2dy(令 ty A)h(X)2log e- Iog3 log a因为已知X,关于Y没有不确定，常数 A不会增加不确定度，所以从熵的概念上也可判断此h(Y) h(X)首先求得Y的分布函数FYy F 2X yF X

26、 y/2y/2f(x)dx1, y 2ay/2of (x)dx, 0 y 2aY的概率密度为0, y 0f(y)dFdyY的微分熵为1 2by I 0 y 2a80,其它h(Y)2aO fY(y)dy2Tt 2 .O -by log：by dy8 8a 22a 2bt log bt dt bt0 0log 1 dt(令ty/2)h(X) log 22 3log e- log log a3 2信道线图如下，试确定该信道的转移概率矩阵0.0a0.b0.0.30.3900. 20.20.30.30. 15.040d09eg.009h09i0. 0001j轾0.20.30001 0.00090.30.

27、0090.15 0.040.04 0.150.009 0.00090.30.30.00010.2DMC的转移矩阵如下（1）画出信道线图；（2）若输入概率为 PX解：（1）0.6 0.3 0.1PYIX0.3 0.1 0.60.5 0.5 ,求联合概率、输出概率以及后验概率。（2）P（）乘以P的第1行，P2）乘以P的第2行，得联合概率矩阵P:Pxy0.30.15 0.050.15 0.050.3PXY 的各列兀素相加得对应的输出概率，写成矩阵形式：R0.45 0.200.35P 的各列元素除以对应的输出概率，得后验概率矩阵:P2/33/4 1/71/31/4 6/7设离散无记忆信源X通过离散无记

28、忆信道X, FY,Y传送信息，设信源的概率分布和信道的线图分别为0.8b10.2.- (a1) log 106 0.7370 bit /符号X31a20.1320.9b2P0.60.4试求：（1）信源X的符号31和32分别含有的自信息；（2） 从输出符号bj（j 1,2）所获得的关于输入符号 3i（i 1,2）的信息量;（3）信源X和信道输出Y的熵；（4）信道疑义度H（XlY）和噪声熵H（YIX）；（5）从信道输出Y中获得的平均互信息量。解：H(X)0.6 0.73700.41.32200.971bit /符号H(Y)0.52 0.94340.481.05890.9988bit / 符口号、(

29、5)H(YFaI)H (0.8,0.2)0.80.32190.2 2.32200.7219 bit/符号H(Y,a)H (0.1,0.9)0.13.3220.9 0.152:0.469bit /符号H(YX)0.6 0.72190.40.4690.6207bit /符号I (b a2) =1.0589 0.1520I(a2b)I(b2)0.9609 bit / 符号6)log%41.3220 bit / 符号PrPX0.8PYX= 0.6 0.4 0.10.20.52 0.480.9I (ai； bi)(b)I (b. a)=09434 0.32190.6215 bit/ 符号I也）(b2)I

30、 (b2 b1) = 1.0589 2.32201.2631 bit/ 符号I (a2; bi)I(bi)I(b1. a2) = 0.9434 3.3222.3786 bit / 符号1 0 0PYZ0 0.5 0.5(2)无损要求H (X;Y)0 ;不确定要求H(YjX) 0 ,具有行排列性，线图和转移矩阵如下:bib2bb40.40.600000.60.4(3) 无损、确定信道的线图和转移矩阵如下ai1bia21b2求下列两个信道的信道容量和最佳输入分布，并加以比较。其中(1)解:(1)方法利用一般 DMC言道容量解的充要条件，计算各偏互信息，并使之均等于信道容量C,再结合输出概率的完备性

31、，可以解出信道容量，最后利用全概率公式得出最佳输 入分布。该方法通用，但过程繁琐。方法观察发现此信道是准对称信道。信道矩阵中Y可划分为二个互不相交的子集，如下:而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。Skk 1Mjk IogMkrH(P1, P2,L , PS)其中 n=2, r 2，M112 ，M24 ，S12, S21,所以,2 )1 21 2442Iog21logH(P I P2221 2 log12 22log 2Plog PCIP log P1 2iog1P log P2 log 2P log P输入等概率分布时达到信道容量。(2) 此信道也是准对

32、称信道，现采用准对称信道的信道容量公式进行计算。此信道矩 阵中Y可划分成两个互不相交的子集为P , P20P , P ,0 2解：图中2个信道的信道矩阵为P 3 6 311163 660.98 0.02P120.02 0.98矩阵为行列排列阵，其满足对称性，所以这两信道是对称离散信道。由对称离散信道这两矩阵为对称矩阵。其中n=2，r2，M112 ，M22，SlS22 ,所以C2nM kM kSklog -H (P1, P2,L I PS)k 1rr121 22 2_2 -log-2log H ( P,P,2)222 21 222 logPlog PPlog P2 log 2log1221 2P

33、log PPlogP2 log 2log12C12log 21输入等概率分布(P(a) P(a2)时达到此信道容量。两个信道的噪声熵相等但第二2个信道的输出符号个数较多，输出熵较大，故信道容量也较大。求下列二个信道的信道容量及其最佳的输入概率分布。3的信道容量公式得1-0.0817比特/符号6C2 log2 H 0.02,0.980.858特/ 符号最佳输入分布是输入为等概率分布。 设信道转移矩阵为1 0 0PrIX01 PPOPIP(1)求信道容量和最佳输入分布的般表达式；(2)当P 0和P 1,2时，信道容量分别为多少并针对计算结果作一些说明。 解：. . * * * *(1)该信道属一般

34、信道，设最佳输入分布为FX P (a1), P (a2), P (a3),三个输入概率外加信道容量 C ,共4个参数，需列4个方程。由定理，有1(a;Y)logCP(b1)I(a2；Y)(1 P) log upP(b2)P logP CP(b3)(a3;Y)P log P( 2pp(1 P)(I P)P(b2)P) log1 P CP(b3)P(b1)P(b2) P(b3) 1化简得logP(d)C(1 P)logP(b2) Plog P(d) C h2(p)P log P(b2) (1 p)logP(bOC h2(p)pg) P(b2) P(b3) 1解得C log(1 21 h2(P)log1 2pp(1 P)(I P)iP(b1) 2c11 2pp(1 P)(I P)P(b2) P(b3) 2C h2(p)P(1 P)P (1 P)P(ai)P(bj |aj 可求出转移概率P(bj Iai)已知，输出分布P(bj)已求出，根据 P(bj)P*(ai)。P(b1) P (a1)P(b2) (1 P)P*(a2) pP*(a3)P(b3)pP*(a2) (1 p)P*(a3)解得P*(a1)P*(a2)1 2pp(1P)(I P)P*(a3)Pp(1 P)(I P)1 2pp(1 P)(I P)(2