信息论与编码课后答案

1、p u2| u11/2 , p u3|u1p u1| U31/ 3, p u2 |u3状态转移矩阵为：1/21/20p 1/302/31/32/302.1 一个马尔可夫信源有3个符号Ui,U2,U3 ，转移概率为：p Ui|Ui 1/2 ,0 , p u11 u21/ 3, p u2 |u20, p u3|u22/3 ,2/3 , p u3|u30，画出状态图并求出各符号稳态概率。解：状态图如下设状态 山，U2, U3稳定后的概率分别为W1, W2、W3111-W1-W2-W3233也=W12W3W2得231小1 2W2W33丄WP W由W1 W2 W3W1计算可得W1 W2 W31W1W2W

2、31025_925625p(0 |00) =0.8，p(0 |11)=0.2，p(1|01)=0.5，p(1|10) =0.5。2.2由符号集0，1组成的二阶马尔可夫链，其转移概率为:p(1|00) =0.2，p(1|11)=0.8, p(0|01)=0.5, p(0 |10) =0.5,画出状态图，并计算各状态的稳态概率。解：p(0|00)p(00 |00)0.8p(0|01)p(10|01)0.5p(0|11)p(10|11)0.2p(0|10)p(00|10)0.5p(1|00)p(01| 00)0.2p(1|01)p(11|01)0.5p(1|11)p(11|11)0.8p(1|10)

3、p(01|10)0.5于是可以列出转移概率矩阵:状态图为：0.80.200000.50.50.50.500000.20.80.811的稳态分布概率为00，01， 10，设各状态Wl,W2,W3,W4 有0.8W10.5W3W1WP W0.2W10.5W3W24得 0.5W20.2W4W3W 1i 10.5W20.8W4W4W1 W2 W3 W412.7设有一离散无记忆信源，其概率空间为5W1 141W2 -计算得到7W3-75W414XX10 X21 X32 X43P3/81/41/41/8(1 )求每个符号的自信息量(2)信源发出一消息符号序列为20212013021300120321011

4、0321010021032011223210，求该序列的自信息量和平均每个符号携带的信息量1 8解：1(x1)log 2log 2 1.415bitp(x1)3同理可以求得 1(x2) 2bit,l(X3) 2bit,l(X3) 3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I 14I (X1) 13I (X2) 12I (X3) 6I (X4) 87.81bit平均每个符号携带的信息量为8781 1.95bit/符号452.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转

5、后，盘面上的指针指向某一数字和颜色。(1) 如果仅对颜色感兴趣，则计算平均不确定度(2) 如果仅对颜色和数字感兴趣，则计算平均不确定度(3 )如果颜色已知时，则计算条件熵解：令X表示指针指向某一数字，则X=1,2, .,38Y表示指针指向某一种颜色，则Y=l绿色，红色，黑色Y是X的函数，由题意可知p(xy) p(xi)312381838(1)H (Y)p(yj)loglog 2 -log1.24 bit/付号j 1p(yj)3823818(2)H (X,Y)H (X ) log 2385.25 bit/符口号(3)H(X|Y)H (X,Y) H(Y)H(X)H(Y)5.25 1.244.01

6、bit/ 符号2.12两个实验 X和Y, X=x 1 X2x3,Y=y 1y2y3,i联合概率rxi, yjrj 为r11 S A37/241/240r21r22r231/241/41/24r31r32r3301/247/24(1) 如果有人告诉你 X和Y的实验结果，你得到的平均信息量是多少?(3)在已知Y实验结果的情况下,告诉你X的实验结果,你得到的平均信息量是多少?y1y2y3X17/241/240X21/241/41/24X301/247/24解：联合概率p(xi,yj)为H(X,Y)=2.3bit/ 符号ij242p(xi,y)log2P(xu yj)1 log 24log 22424

7、XX1X2X3P8/248/248/24X概率分布H(Y)3 1 log 231.58bit/ 符号(2) 如果有人告诉你 Y的实验结果，你得到的平均信息量是多少？=0.72bit/ 符号H(X |Y) H(X,Y) H (Y)2.3 1.58Y概率分布是Yy1y2y3P8/248/248/242.16黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出现概率p(黑)=0.3，白色出现的概率p(白)=0.7。（1） 假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图（2） 实际上各个元素之间是有关联的，其转移概率为：P（白 |白）=0.9143, P（黑白

8、） = 0.0857, P（白|黑）=0.2, P（黑|黑）=0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3 ）比较两种信源熵的大小，并说明原因。& 10 10 解：（1） H（X） 0.3log2 0.7log 20.8813bit/符号37P(黑I白)=P(黑)0.70.3黑八、白0.70.31H (X) H(X2|X1)p(x,yj)log2-ijPM)1 10.08570.9143 0.7log 20.0857 0.7log20.914310.8 0.3log2 0.8=0.512bit/ 符号0.2OS。町2.20给定语音信号样值X的概率密度为p（X）e

9、 >x，求Hc（X）,并证明它P（白 I白 ）= P（白）P（黑|黑）=P（黑）P（白|黑）=P（白）（2）根据题意，此一阶马尔可夫链是平稳的（P（白 ）= 0.7不随时间变化，P（黑）=0.3不随时间变化）小于同样方差的正态变量的连续熵。解:Hc(X)px(x)log px(x)dxpx(x)logxdxpx(x)log 2dxpx(x)(x)log edxlog 2logelog 21 e20 1x)dx1(x)dx log -0 2e x( x)dxlog 22log2xexdxlog 2log 2logeloge(1x)elog空E(X) O,D(X)H(X )2log 2 eg

10、1,4 e/ogrlogelog3H(X)2.29有一个一阶平稳马尔可夫链X1，X2,L ,Xr,L，各Xr取值于集合 Aai,a2,a3，已知起始概率P(Xr)为pi 1/2, p2 p3 1/4，转移概率如下图所示12311/21/41/422/301/332/31/30(1) 求(X1,X2, X3)的联合熵和平均符号熵(2) 求这个链的极限平均符号熵 求H 0, H 1, H 2和它们说对应的冗余度解:( 1)H(X1,X2,X3) H (X1) H(X2|X1) H(X3|X2,X1)H(X1) H (X2|X1) H(X3| X2)111111H (X1)log log log 1

11、.5bit/ 付号2 24444P(X1iX2j)12311/41/81/821/601/1231/61/120X1 , X2的联合概率分布为那么P(X2j)P(X1i X2j)i12314/245/245/24X2的概率分布为H(X2| X1)log 4log 4811log 4 log862log312log312=1.209bit/ 符号X2X3的联合概率分布为P(X2iX3j)123那么H(X3|X2)=1.26bit/ 符号log 224log 448log 48A log 236272log35 i 3 36log7>317/247/487/4825/3605/1235/36

12、5/120H(X1,X2,X3)1.5 1.209 1.263.969bit /符号3 969所以平均符号熵 H 3（Xi,X2,X3） -一 1.323bit /符号3（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为 P1224-W1W2W31W123371-W11-W3W2计算得到 W234314W1W2 W31W3314WP W由得到Wi 1又满足不可约性和非周期性LVH (X)WiH(X |Wi)i 132 1H(230)141.25bit /符号(3) H 0log31.58bit/ 符号H11.5bit /符号1.355bit /符号1 251 0.2

13、1 1 11.581 1怡1.50.6172 11 251 0.0781.3552/3'、1/42.32 一阶马尔可夫信源的状态图如图2 13所示，信源X的符号集为（0, 1, 2）。(1) 求信源平稳后的概率分布P(0),P(1),P(2)(2) 求此信源的熵(3) 近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与 H进行比较图 2-131 p p/2p/2解:根据香农线图，列出转移概率距阵 Pp/21 p p/2p/2p/21 p令状态0,1,2平稳后的概率分布分别为W1,W2,W3(1p)W1卫W2卫W3W1W1223弧1(1p)W2駅3W2计算得到

14、W1223W1W2W311W3WP W3得到W 1i 1由齐次遍历可得LVH (X)ILT1WiH(X |Wi)3 -H (1P,E 卫)2 2(1P)iogplog - pH(X') log 31.58bit/符号由最大熵定理可知uvH (X)存在极大值uvH (X)log(1p)pp112(1 p)22(1p)0<p<2/3 时-Huv(X)log或者也可以通过下面的方法得出存在极大值pj 1) log 卫2 p - p121 p2又0 p1所以p0,2(1p)p02(1 p)logP2(1 p)当p=2/3时p12(1 p)uu2/3<p<1 时H (X)

15、Puu(X)max 1.58bit/ 符号uu所以当p=2/3时H (X)存在极大值，且Huv所以 H (X) H (X,)练习题：有一离散无记忆信源，其输出为X 0,1,2,相应的概率为P01/4, pi 1/4, P21/2，设计两个独立的实验去观察它，其结果分别为P(y1lx)0101110121/21/2丫10,1 ,丫20,1，已知条件概率P(y2|x)01010110201(1)求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些 求I(X;Y1Y2)，并计算做丫1和丫2两个实验比做 丫1和丫2中的一个实验可多得多少关于X的信息(3)求l(X；Y1|Y2)和|(X；Y2|Y1)，

16、并解释它们的含义0101/40101/421/41/4解:(1)由题意可知70101/4011/40201/2P(y1=0)=p(y 1=1)=1/2p(y2=1)=p(y 2=1)=1/211111I(X;Y1) H(Y1) H (Y1| X) log 2 log log 2 log 2 =0.5bit/符号4 2 424111I(X;Y2) H (Y2) H(Y2|X) log 2 log1 log1 log1 1bit/ 符号 >I(X;Y1)442所以第二个实验比第一个实验好P(y1y2x)0001101101/4000i00i/4020i/40i/4(2)因为Yi和丫2相互独立p(y1y2|x) p(w|x)p(y2|x)P(yiy2|x)000ii0ii0i000i00i020i/20i/2yiy2000ii0iipi/4i/4i/4i/4iii出口l(X;YiY2)H(Yi,Y2)H(YiY2|X)log 4logilogi2log 2bit/ 符号444=i.5bit/ 符号由此可见，做两个实验比单独做 Yi可多得ibit的关于X的信息量，比单独