信息论与编码课后答案

1、p u2| u11/2 , p u3|u1p u1| U31/ 3, p u2 |u3状态转移矩阵为：1/21/20p 1/302/31/32/302.1 一个马尔可夫信源有3个符号Ui,U2,U3 ,转移概率为：p Ui|Ui1/2 ,0 , p u11 u21/ 3, p u2 |u20, p u3|u22/3 ,2/3 , p u3|u30，画出状态图并求出各符号稳态概率。解：状态图如下设状态U1, U2, U3稳定后的概率分别为W1， W2、W3WP W由得W1 W2 W311 1 1-W1-W2-W32 331 2W1-W3 W22 32W2 W33W1 W2 W31W110W125

2、计算可得 W2_925W36252.2由符号集0, 1组成的二阶马尔可夫链，其转移概率为：p(0 |00) =0.8，p(0|11)=0.2，p(1|00) =0.2，p(1|11)=0.8，p(0|01)=0.5，p(0|10) =0.5，p(1|01)=0.5，p(1|10)=0.5。 画出状态图，并计算各状态的稳态概率。解：p(0|00)p(00 |00)0.8p(0|01)p(10|01)0.5p(0|11)p(10|11)0.2p(0|10)p(00|10)0.5p(1|00)p(01| 00)0.2p(1|01)p(11|01)0.5p(1|11)p(11|11)0.8p(1|10

3、)p(01|10)0.50.800.2000.500.5于是可以列出转移概率矩阵：p0.50.500000.20.8状态图为：设各状态WP W0.811的稳态分布概率为00 ,01, 10,Wl ,W2,W3,W4 有0.8W10.5W3W10.2W10.5W3W2W20.5W20.2W4W3计算得到0.5W20.8W4W4W3W1 W2W3W41得W1W414142.7设有一离散无记忆信源，其概率空间为（1 ）求每个符号的自信息量2）信源发出一消息符号序列为202XX10X21X32 X43P3/81/41/41/812013021300120321011032101002103201122

4、3210，求该序列的自信息量和平均每个符号携带的信息量解：I (x1)log21p(x1)log2i 1.415bit同理可以求得 I（X2） 2bit, I（X3）2bit, I（X3） 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I 14I (X1) 13I (X2) 12I (X3) 61(X4) 87.81bit87 81平均每个符号携带的信息量为1.95bit/符号452.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1 ,，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。(1

5、) 如果仅对颜色感兴趣，则计算平均不确定度(2) 如果仅对颜色和数字感兴趣，则计算平均不确定度(3 )如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，贝UX=1,2, .,38Y表示指针指向某一种颜色，则丫=1绿色，红色，黑色y1y2y3X17/241/240x21/241/41/24X301/247/24解：联合概率p(xi, yj)为H(X,Y)=2.3bit/ 符号ij2427p(xi,y)log2P(xu yj)1 log 24log 22424Xx1x2x3P8/248/248/24X概率分布1H(Y) 3log 23 1.58bit/ 符号3H(X |Y) H(X,Y)

6、H (Y)2.3 1.58=0.72bit/ 符号Yy1y2y3P8/248/248/24Y概率分布是2.16黑白传真机的消息元只有黑色和白色两种，即 现概率p(黑)=0.3，白色出现的概率p(白)=0.7。X=黑，白，一般气象图上，黑色的出Y是X的函数，由题意可知p(xiyj)p(刈(1)3H(Y)j 1p(yj)log -1p(yj)238log382238181.24 bit/ 符号(2)H(X,Y)H (X) log 2385.25 bit/ 符口号(3)H(X |Y)H(X,Y)H(Y)H(X)H(Y)5.25 1.244.01 bit/ 符2.12两个实验X和Y, X=x1 x2

7、x3,Y=y1 y2y3,l联合概率rxi,yj口为r 11r12r137/241/240r21r22r231/241/41/24r31r32r3301/247/24(1) 如果有人告诉你 X和Y的实验结果，你得到的平均信息量是多少？(2) 如果有人告诉你 Y的实验结果，你得到的平均信息量是多少？(3) 在已知Y实验结果的情况下，告诉你 X的实验结果，你得到的平均信息量是多少?（1） 假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图（2） 实际上各个元素之间是有关联的，其转移概率为：P（白 |白）=0.9143 , P（黑|白）=0.0857 , P（白|黑）=0.2 , P

8、（黑|黑）=0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3 ）比较两种信源熵的大小，并说明原因。1010解：（1） H（X） 0.3log2 0.7log 20.8813bit/符号3 7P(黑I白)=P(黑)0.3 黑0.3白0.70.7P（白 |白 ）= P（白）P（黑|黑）=P（黑）P（白 | 黑）=P（白）（2）根据题意，此一阶马尔可夫链是平稳的（P（白）= 0.7不随时间变化，P（黑）=0.3不随时间变化）1H (X) H(X2|X1)p(x,yj)log2-ijPM)1 10.08570.9143 0.7log 20.0857 0.7log20.914310.

9、8 0.3log2 0.80.2o.31。町=0.512bit/ 符号2.20给定语音信号样值 X的概率密度为p（x），求Hc（X）,并证明它小于同样方差的正态变量的连续熵。解:Hc(X)px(x)log px(x)dxpx(x)logxdxPx(x)log 2dxPx(x)(x)log edxlog 2logex)dxlog 2loge1(x)dx log -0 2e x( x)dxlog 22log2xexdxlog 2log 2logeloge(1x)elog*E(X) 0,D(X)22H(X') log 221 .4 e2、e2 , e ee 2log 2 loglogH (X

10、)22.29有一个一阶平稳马尔可夫链Xi,X2丄,Xr,L，各Xr取值于集合 Aai,a2,a3，已知起始概率P（Xr）为P11/2, p2 p31/ 4，转移概率如下图所示学、12311/21/41/422/301/332/31/30(1) 求(X1,X2, X3)的联合熵和平均符号熵(2) 求这个链的极限平均符号熵 求H o, H 1, H 2和它们说对应的冗余度解:( 1)H(X1,X2,X3) H (X1) H(X2|X1) H(X3|X2，X1)H(X1) H (X2|X1) H(X3| X2)111111H (X1)log log log 1.5bit/ 付号224444P(X1i

11、X2j)12311/41/81/821/601/1231/61/120X1, X2的联合概率分布为那么P（X2j）P（X1iX2j）i12314/245/245/24X2的概率分布为1H(X2| X1)log44=1.209bit/ 符号log 4811log 4 log862log312log312X2X3的联合概率分布为P(X2iX3j)12317/247/487/4825/3605/1235/365/120那么771H(X3|X2) log 2 log 4 log 4 24488=1.26bit/ 符号A log 23625 i 3 36log7>3H(X1,X2,X3)1.5 1

12、.209 1.263.969bit /符号所以平均符号熵 H 3(X1, X 2, X3) 3969 1.323bit /符号3（2 ）设a1,a2,a?稳定后的概率分布分别为W1,W2,W3,转移概率距阵为 P-W1W2W31W123371-W11-W3W2计算得到 W234314W1W2 W31W3314WP W由得到Wi 1H (X)WiH(X |Wi)-HH,)2 H（",°）1.25bit /符号i 1724 4143 3H 0log3 1.58bit / 符号H11.5bit/符号u 1.5H 21 2091.355bit /符号2,1.251.25,1.25c

13、0 10 1 0.211 11 10.61721210.0781.581.51.3551/2又满足不可约性和非周期性3LV“ a12/32.32 一阶马尔可夫信源的状态图如图、1/42 13所示,信源X的符号集为（0,1，2）。(1) 求信源平稳后的概率分布P(0),P(1),P(2)(2) 求此信源的熵(3) 近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与 H进行比较图 2-131 PP/2P/2解:根据香农线图，列出转移概率距阵 PP/21PP/2P/2P/21 P令状态0,1,2平稳后的概率分布分别为W1,W2,W3(1p)W1卫W2卫W3W1W1223W

14、1(1P)W2駅3W2计算得到W1223W1W2W311W3WP W3得到W 1i 1由齐次遍历可得LVH (X)LV1WiH(X |Wi)3 -H (1P,E 卫)2 2(1P)iogplog -PH(X,) log 31.58bit/符号由最大熵定理可知uvH (X)存在极大值或者也可以通过下面的方法得出存在极大值uvPlog(1 p)log号logP2(1 P)P2(1 P)1 1又022(1 p)1所以P2(1 P)0,p当p=2/3时12(1 P)0<p<2/3uv(X)log02(1 P)2/3<p<1 时uuH (X)P所以当p=2/3uu时H (X)存在

15、极大值，且Huu(X)max 1.58bit/ 符号uv所以H (X)H(XJ练习题：有一离散无记忆信源，其输出为X0,1,2，相应的概率为P0 1/4, pi 1/4, P2 1/2，设计两个独立的实验去观察它，其结果分别为P(y1|x)0101110121/21/2丫10,1 ,丫20,1，已知条件概率P(y2|x)01010110201(1)求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些(2) 求I(X;Y1Y2)，并计算做丫1和丫2两个实验比做 ¥和Y2中的一个实验可多得多少关于X的信息(3) 求l(X；Y1|Y2)和l(X；Y2|Y1)，并解释它们的含义20101/

16、40101/421/41/4解：(1)由题意可知X0101/4011/40201/2P(y1=0)=p(y 1 = 1)=1/2P(y2=1)=P(y 2=1)=1/211111I(X;Y1) H(Y1) H (Y1| X) log 2 log log 2 log 2 =0.5bit/ 符号4 2 424111I(X;Y2) H (Y2) H(Y2|X) log 2 log1 log1 log1 1bit/ 符号>I(X;Y1)442所以第二个实验比第一个实验好Pgx)0001101101/40001001/40201/401/4(2)因为Y和丫2相互独立p(y1y2|x) p(y1|x)p(y2|x)P(Y1Y2|x)000110110100010010201/201/2yy00011011p1/41/41/41/4111心口I(X;YiY2)H(Yi,Y2)H(YiY2|X)log 4logllogl2log 2bit/ 符号444=1.5bit/ 符号由此可见，做两个实验比单独做Yi可多得1bit的关于X的信息量