信息论与编码姜丹第三版答案.pdf

H.F. 信息论与编码习题信息论与编码习题参考参考答案答案 H.F. 第一章第一章 单符号离散信源单符号离散信源 1.1 同时掷一对均匀的子，试求： (1)“2 和 6 同时出现”这一事件的自信息量； (2)“两个 5 同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是 1”的自信息量。 解解： bitPaI N n P bitPaI N n P ccN 17. 536loglog)( 36 1 )2( 17. 418loglog)( 36 2 ) 1 ( 3666 2 2 2 1 1 1 1 6 1 6 样本空间： (3)信源空间： X (1,1) (1,2) (1,3) (1,4) (1,5) (1,6) P(X) 1/36 2/36 2/36 2/36 2/36 2/36 X (2,2) (2,3) (2,4) (2,5) (2,6) P(x) 1/36 2/36 2/36 2/36 2/36 X (3,3) (3,4) (3,5) (3,6) P(x) 1/36 2/36 2/36 2/36 X (4,4) (4,5) (4,6) P(x) 1/36 2/36 2/36 X (5,5) (5,6) (6,6) P(x) 1/36 2/36 1/36 bitxH32. 436log 36 1 6 2 36 log 36 2 15)( (4)信源空间： X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 bit xH 71. 3 6 36 log 36 6 5 36 log 36 10 4 36 log 36 8 3 36 log 36 6 2 36 log 36 4 36log 36 2 )( (5) bitPaI N n P17. 1 11 36 loglog)( 36 11 3 3 3 1.2 如有 6 行、8 列的棋型方格，若有两个质点 A 和 B，分别以等概落入任一方格内，且它 们的坐标分别为（Xa，Ya）, （Xb，Yb）,但 A，B 不能同时落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一方格的平均信息量； （2） 若已知 A 已落入，求 B 落入的平均信息量； （3） 若 A，B 是可辨认的，求 A，B 落入的平均信息量。 解解： H.F. bitaPaPa aPaIaPA i 58. 548log)(log)()(H 48log)(log)( 48 1 )(:) 1 ( 48 1 ii iii 落入任一格的概率 bitbPbPb bPbI bPA i 55. 547log)(log)()(H 47log)(log)( 47 1 )(:B,)2( 48 1 ii ii i 落入任一格的概率是落入任一格的情况下在已知 bitABPABPABH ABPABI ABPAB i iii ii i 14.11)4748log()(log)()( )(log)( 47 1 48 1 )()3( 4748 1 是同时落入某两格的概率 1.3 从大量统计资料知道,男性中红绿色盲的发病率为 7%,女性发病率为 0.5%.如果你问一位 男士： “你是否是红绿色盲？”他的回答可能是： “是” ，也可能“不是” 。问这两个回答中各 含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士， 则她的答案中含 有多少平均信息量？ 解： bit wPwPwPwPm mPmI wPwI bit mPmPmPmPm bitmPmI bitmPmI nnyy nn yy nnyy nn yy 0454. 0log99.5%99.5%-log0.5%-0.5% )(log)()(log)()(H %5 .99log)(log)( %5 . 0log)(log)( 366. 0log93%93%-log7%-7% )(log)()(log)()(H 105. 0%93log)(log)( 84. 3%7log)(log)( : 平均每个回答信息量： ：回答“不是”的信息量 回答“是”的信息量： 对于女： 平均每个回答信息量： ：回答“不是”的信息量 回答“是”的信息量： 对于男士 1.4 某一无记忆信源的符号集为0，1 ，已知 。， 3 2 3 1 10 pp （1） 求符号的平均信息量； （2） 由 1000 个符号构成的序列， 求某一特定序列 （例如有 m 个 “0” , （1000-m） 个 “1” ） 的自信量的表达式； （3） 计算（2）中序列的熵。 解解： 3 2 log 3 )1000(2 3 1 log 3 loglog)( cebit/sequen 918918. 01000)(1000)(3 3 2 log)1000( 3 1 loglog)1000(log)(2 / 918. 0 3 2 log 3 2 3 1 log 3 1 loglog)(1 1000 1 11 1 00 0 1100 m i m i mm ppppAH XHAH bitmmpmpmAI symblebitppppxH ）（ ）（ ）（ H.F. 1.5 设信源 X 的信源空间为： 0.3 0.18 0.16 0.18 0.19 0.17 X)( a a a a a a X 654321 p px ： ： 求信源熵，并解释为什么 H(X)log6，不满足信源熵的极值性。 解解： 。立的约束条件，所以不满足信源熵最大值成 但是本题中的约束条件下求得的，值是在这是因为信源熵的最大 ，不满足信源熵的极值性可见 log6H(X)18. 1 1 585. 2log62.725H(X) bit/symble 725. 2 3 . 0log3 . 016. 0log16. 018. 0log18. 0219. 0log19. 017. 0log17. 0 )(log)()( 6 1 1 6 1 i i r i i i i i p p apapXH 1.6 为了使电视图象获得良好的清晰度和规定的对比度，需要用 5105个像素和 10 个不同 的亮度电平， 并设每秒要传送 30 帧图象， 所有的像素是独立的， 且所有亮度电平等概出现。 求传输此图象所需要的信息率（bit/s） 。 解解： bit/s 104.98310661. 130)/)()/(R bit/frame 10661. 1322. 3105)(H105)(H bit/pels 322. 310log)(log)()(H 76 65 0 5 10 1 0 framebitXHsframer xX apapx i i i 所需信息速率为： 每帧图像的熵是： 每个像素的熵是： ，由熵的极值性：由于亮度电平等概出现 1.7 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色彩 度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5 倍左右。 证证: .5 . 2, ,5 . 2 5 . 2477. 2 10log 300log )(H )(H pels/bit300log)(log)()(H bit3001030 ,10,30 0 1 300 1 1 倍左右比黑白电视系统高彩色电视系统信息率要图形 所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素 每个像素的熵是： 量化所以每个像素需要用 个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加 x x bpbpx i ii 1.8 每帧电视图像可以认为是由 3105个像素组成，所以像素均是独立变化，且每像素又取 128 个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有 一个广播员，在约 10000 个汉字中选 1000 个字来口述这一电视图像，试问若要恰当地描述 此图像，广播员在口述中至少需要多少汉字？ 解解: H.F. 个汉字最少需要 数描述一帧图像需要汉字 每个汉字所包含信息量 每个汉字所出现概率 每帧图象所含信息量 5 5 6 655 10322 . 6 /10322. 6 1 . 0log 101 . 2 )( )( )()(, logH(c): 1 . 0 10000 1000 symble/bit101 . 2128log103)(103)( : frame cH XH n cnHXHn p p xHXH 1.9 给定一个概率分布),.,( 21n ppp和一个整数 m，nm 0。 定义 m i im pq 1 1， 证明： )log(),.,(),.,( 2121 mnqqpppHpppH mmmn 。并说明等式何时成立？ 证证： n mi ii m i iin pppppppH xxxxf x e xxxf x x e xxxf xxxxf 11 21 loglog),.,( )0(log)( 0 log )log()( 0 log )log()( )0(log)( 又 为凸函数。即 又 为凸函数，如下：先证明 时等式成立。当且仅当 时等式成立。当且仅当 即 可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量 nmm mmmn mm m i iimm mmm m i ii n mi ii m i iin nmm mmm n mi ii m m n mi i n mi i n mi i n mi i n mi ii ppp mnqqpppHpppH qqppqpppH mnqqqpppppppppH ppp mnqqqpp mn q q mn p mn p mn mn p fmn mn pf mnpp . )log(),.,(),.,( loglog),.,( )log(loglogloglog),.,( . )log(loglog loglog)()()( )( )(log 21 2121 1 21 111 21 21 1 1111 1 1.10 找出两种特殊分布: p1p2p3pn，p1p2p3pm,使 H(p1,p2,p3,pn)=H(p1,p2,p3,pm)。 解： m i iim n i iin qqqqqHpppppH 1 21 1 21 log),.,(log),.,( 1.15 两个离散随机变量 X 和 Y，其和为 ZXY，若 X 和 Y 统计独立，求证： (1) H(X)H(Z), H(Y)H(Z) H.F. (2) H(XY)H(Z) 证明证明： s j jj r i s j jij r i s j jij rs j jii ss j ji ss j ji t k kk rs j jiji rs j jiji t k kk s s r r qqqpq qpqqpp qpqppzpzZH XYHqpqpbapbappzpzZH YX qqqYP bbb P pppXP aaa P 111 111i1 1i11i11 1i11i11 21 21 21 21 )log(-)log( )log()log( )log()(log )( )()log()( )(log)(log)( , . )( . Y : Y . )( . X : X YX 又 统计独立又 的信源空间为：、设 H.F. 第二章第二章 单符号离散信道单符号离散信道 2.1 设信源 .30 .70 )( X : X 21 XP aa P通过一信道，信道的输出随机变量 Y 的符号集 ,: 21 bbY,信道的矩阵： 4/34/1 6/16/5 2 1 21 a a P bb 试求： (1) 信源 X 中的符号1和2分别含有的自信息量； (2) 收到消息 Yb1，Yb2后，获得关于1、2的互交信息量：I(1;b1)、I(1;b2)、I(2;b1)、 I(2;b2)； (3) 信源 X 和信宿 Y 的信息熵； (4) 信道疑义度 H(X/Y)和噪声熵 H(Y/X)； (5) 接收到消息 Y 后获得的平均互交信息量 I(X;Y)。 解解: bit/symble 228. 0698. 0926. 0)()()5( symble/bit 653. 0926. 0698. 0881. 0)()()()( )()()()( bit/symble 698. 0)(log)()()(log)()()4( bit/symble 926. 0) 120 41 log 120 41 120 79 log 120 79 ()(log)()( bit/symble 881. 0)3 . 0log3 . 07 . 0log7 . 0()(log)()( 120 41 )()()( 120 79 )()()(:)3( 134. 1 4/33 . 06/17 . 0 4/3 log )( )( log);( I 766. 0 4/13 . 06/57 . 0 4/1 log )( )( log);( I 036. 1 4/33 . 06/17 . 0 6/1 log )( )( log);( I 34. 0 4/13 . 06/57 . 0 6/5 log )( )( log);( I )2( 737. 13 . 0log)(log)( I 5415. 07 . 0log)(log)( I (1) 2 1 2 1 2 1 2 1 2 1 2 1 2 1 22 2 1 11 2 2 2 22 1 2 1 12 2 1 2 21 1 1 1 11 212 11 XYHYHI(X;Y) YHXYHXHYXH YXHXHXYHYHI(X;Y) abpabpapabpbapXYH bpbpYH apapXH abpapbp abpapbp bit bp abp ba bit bp abp ba bit bp abp ba bit bp abp ba bitapa bitapa ji ijiji ji ijji j jj i ii i ii i ii 又 由上 H.F. 2.2 某二进制对称信道，其信道矩阵是： 98. 002. 0 02. 098. 0 1 0 1 0 P 设该信道以 1500 个二进制符号/秒的速度传输输入符号。 现有一消息序列共有 14000 个二进 制符号，并设在这消息中 p(0)= p(1)=0.5。问从消息传输的角度来考虑，10 秒钟内能否将这 消息序列无失真的传送完。 解解: .,1500bit/s, s /bit 98.1201s10/symble14000 :1400010 symble/bit 859. 098. 0log98. 002. 0log02. 01 )1log()1 (log1)(1);( 故不可能无失真传输最大码率超过了信道所能提供的而输入信源码率为 为个二进制符号最大码率秒钟内传送信道在 入等概信源由于二进制对称信道输 CC HCYXI t 2.3 有两个二元随机变量 X 和 Y，它们的联合概率为 PX=0,Y=0=1/8，PX=0,Y=1=3/8， PX=1,Y=1=1/8，PX=1,Y=0=3/8。定义另一随机变量 Z=XY，试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ); (2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解解: symble/bit406. 1: symble/bit406. 1 8 1 log 8 1 0 8 3 log 8 3 ) 8 3 8 1 log() 8 3 8 1 ( )11(log)11()01(log)01()10(log)10()00(log)00( )(log)()( bit/symble 544. 0) 8 1 log 8 1 8 7 log 8 7 ( symble/bit 1) 2 1 log 2 1 2 1 log 2 1 ()( symble;/bit 1) 2 1 log 2 1 2 1 log 2 1 ()( ; 8 1 ) 1, 1(; 8 3 )0, 1(; 0) 1, 0(; 2 1 )0()0 , 0 ( ; 8 1 ) 1, 1(; 8 3 )0, 1(; 0) 1, 0(; 2 1 )0()0 , 0 ( . 8 1 ) 1(; 8 7 8 3 8 3 8 1 )0(: . 2 1 8 3 8 1 ) 1(; 2 1 8 3 8 1 )0(: . 2 1 8 3 8 1 ) 1(; 2 1 8 3 8 1 )0(: :) 1 ( 2 1 2 1 H(XZ)H(YZ)ZYX pppppppp zxpzxpXZH H(Z) YH XH ZYpZYpZYpYpZYp ZXpZXpZXpXpZXp ZpZpXXYZ YpYpY XpXpX xzxzxzxzxzxzxzxz ik kiki 的概率分布、由上面 且 的分布的分布为 的分布 的分布由题意 H.F. bit/symble0) 8/1 8/1 log 8 1 8/3 8/3 log 8 3 8/3 8/3 log 8 3 8/1 8/1 log 8 1 ( ) )11( )111( log)111( )10( )100( log)100( )01( )010( log)010( )00( )000( log)000( )( )( log)()(log)()( bit/symble406. 0)()( bit/symble406. 0) 8/1 8/1 log 8 1 2/1 8/3 log 8 3 8/3 8/3 log 8 3 2/1 8/1 log 8 1 ( ) )11( )111( log)111( )00( )100( log)100( )10( )010( log)010( )00( )000( log)000( )( )( log)()(log)()( 0)110()011()101()001( bit/symble4060)()( bit/symble8620)()( :的概率Z、Y、X由 bit/symble4060) 21 81 log 8 1 21 83 log 8 3 0 21 21 log 2 1 ( ) 11 (log)11()01 (log)10() 10(log)01()00(log)00( )( )( log)()(log)()( bit/symble8620) 81 81 log 8 1 87 83 log 8 3 0 87 21 log 2 1 ( ) 11 (log)11()01 (log)10() 10(log)01()00(log)00( )( )( log)()(log)()( :同理 bit/symble8110)()( )()()()()()()( bit/symble8110) 4 1 log 8 1 4 3 log 8 3 4 3 log 8 3 4 1 log 8 1 ( ) 11 (log)11()01 (log)10() 10(log)01()00(log)00( )(log)()( 4 1 21 81 ) 1 ( )11( ) 11 ( 4 3 21 83 ) 1 ( )01( ) 10( 4 3 21 83 )0( )10( )01 ( 4 1 21 81 )0( )00( )00()00(2 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 p p p p p p p p p p p p yxp zyxp zyxpyxzpzyxpXYZH YZXHXZYH p p p p p p p p p p p p zyp zyxp zyxpzyxpzyxpYZXH pppp .XZHYZ H .ZXHZYH . / / / / / / pppppppp xp xzp xzpxzpxzpXZH . / / / / / / pppppppp zp zxp zxpzxpzxpZXH .YXHXYH YHX且HXYHYHYXHXHX;YI . pppppppp yxpyxpYXH . / / p p ;p / / p p p ; / / p p ;p / / p p pYX)p( xy xyz xyz xy xyz xyz xy xyz xyz xy xyz xyz ji kji ijk kjijik ijk kji yz xyz xyz yz xyz xyz yz xyz xyz yz xyz xyz kj kji ijk kjikji ijk kji xyzxyzxyzxyz zxzxzxzxzxzxzxzx ki i ik ik ki ikik xzxzxzxzxzxzxzxz ik k ki ki ik kiki xyxyxyxyxyxyxyxy ij jiji y xy xy y xy xy y xy xy y xy xy H.F. symble/bit 405. 0406. 0811. 0)()()( symble/bit 405. 0406. 0811. 0)()()( symble/bit 456. 0406. 0862. 0)()()( symble/bit 138. 0862. 01)()()( symble/bit 138. 0862. 01)()()( symble/bit 189. 0811. 01)()()(:)3( YZXHYXHYX;ZI XZYHXYHXY;ZI YZXHZXHZX;YI ZYHYHY;ZI ZXHXHX;ZI YXHXHX;YI由上 2.4 已知信源 X 的信源空间为 4 . 0 2 . 0 3 . 0 1 . 0 : )( : : 4321 XP aaaaX PX 某信道的信道矩阵为： b1 b2 b3 b4 2 . 04 . 03 . 01 . 0 2 . 01 . 02 . 05 . 0 1 . 01 . 02 . 06 . 0 4 . 01 . 03 . 02 . 0 4 3 2 1 a a a a 试求： (1)“输入3，输出 b2的概率” ； (2)“输出 b4的概率” ； (3)“收到 b3条件下推测输入2”的概率。 解：解： 136. 0 22. 0 1 . 03 . 0 )( )()( )( 22. 04 . 04 . 01 . 02 . 01 . 03 . 01 . 01 . 0)()()()()3( 19. 02 . 04 . 02 . 02 . 01 . 03 . 04 . 01 . 0 )()()()()2( 04. 02 . 02 . 0)()();() 1 ( 3 232 32 4 1 3 4 1 33 4 1 4 4 1 44 32323 bp abpap bap abpapbapbp abpapbapbp abpapbap i ii i i i ii i i 2.5 已知从符号 B 中获取关于符号 A 的信息量是 1 比特，当符号 A 的先验概率 P(A)为下列 各值时，分别计算收到 B 后测 A 的后验概率应是多少。 (1) P(A)=10-2； (2) P(A)=1/32； (3) P(A)=0.5。 解：解： H.F. 1)(,5 . 0)( 161)(,321)( 102)(,10)( )(2)(1 )( )( log);( 22 BApAp BApAp BApAp ApBAp Ap BAp BAI 时 时 时 由题意 2.6 某信源发出 8 种消息，它们的先验概率以及相应的码字如下表所列。以 a4为例，试求： 消息 a1 a2 a3 a4 a5 a6 a7 a8 概率 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 码字 000 001 010 011 100 101 110 111 (1) 在 W4011 中，接到第一个码字“0”后获得关于 a4 的信息量 I(a4;0)； (2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于 a4的信息量 I(a4;1/0)； (3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于 a4的信息量 I(a4;1/01)； (4) 从码字 W4011 中获取关于 a4的信息量 I(a4;011)。 解：解： bit 38log 8/1 1 log )( ) 101( log)011;(4) bit 12log )8/18/1/()8/1 ( 1 log )01( ) 101( log)011 ;(3) bit 585. 13log )8/18/14/14/1/()8/1 ( )8/18/1/()8/1 ( log )0( )01( log)01 ;(2) bit 415. 0 3 4 log 8/1 )8/18/14/14/1/()8/1 ( log )( )0( log)0 ;() 1 ( 4 4 4 4 4 4 4 4 4 4 4 4 ap ap aI ap ap aI ap ap aI ap ap aI 2.13 把 n 个二进制对称信道串接起来， 每个二进制对称信道的错误传输概率为 p(00，则对每个 j1，2，r 都存在状态极限概率： ), 2 , 1()(limrjpnp jij n (证明详见证明详见:p171175) 3.6 设某齐次马氏链的第一步转移概率矩阵为： pq pq pq 0 0 0 2 1 0 2 1 0 试求： (1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0” 、 “1” 、 “2”的极限概率。 解：解： pq p pq qp p pq pq pq pq p pq q pq pq p iip ppp p p p pq pq pq p p p ppqpqq ppqq ppqpqq pq pq pq pq pq pq PPP T 11 )1 ( )0( 11 )1)(1 ( ) 1 ( 11 )1 ( )0( )2 , 1 , 0(0)( 1)2() 1 ()0( )2( ) 1 ( )0( 0 0 0 )2( ) 1 ( )0( )2( 2 0 0 0 0 0 0 )2()1 ( 2 2 22 22 22 由： 3.7 设某信源在开始时的概率分布为 PX0=0=0.6;P X0=1=0.3; P X0=2=0.1。第一个单位 时间的条件概率分布分别是： P X1=0/ X0=0=1/3; PX1=1/ X0=0=1/3; P X1=2/ X0=0=1/3; P X1=0/ X0=1=1/3; P X1=1/ X0=1=1/3; P X1=2/ X0=1=1/3; PX1=0/ X0=2=1/2; P X1=1/ X0=2=1/2; P X1=2/ X0=2=0. 后面发出的 Xi 概率只与 Xi-1 有关， 有 P(Xi/Xi-1)=P(X1/ X0)(i2)试画出该信源的香农线图， H.F. 并计算信源的极限熵 H。 解：解： bit/symbl439. 1) 2 1 log 2 1 4 1 (2) 3 1 log 3 1 8 3 (3) 3 1 log 3 1 8 3 (3 )/(log)/()( 4 1 )( 8 3 )( 8 3 )( ) 3 , 2 , 1(0)( 1)()()( )( )( )( 02/12/1 3/13/13/1 3/13/13/1 )( )( )( )3 , 2 , 1)( ) 3 , 2 , 1,(0)2(02 3/13/13/1 9/218/718/7 9/218/73/1 02/12/1 3/13/13/1 3/13/13/1 02/12/1 3/13/13/1 3/13/13/1 )2( 02/12/1 3/13/13/1 3/13/13/1 2 1 0 2 1 0 3 1 3 2 1 321 3 2 1 3 2 1 00 ij ij iji i T i SSpSSpSpH Sp Sp Sp iSp SpSpSp Sp Sp Sp Sp Sp Sp iSp jinpijn PPP P 由 存在极限概率信源具有各态经历性， ，既有时二步转移概率均大于 且一步转移概率为： 有记忆信源：由题意，此信源为一阶 香农线图如下： 3.8 某一阶马尔柯夫信源的状态转移如下图所示， 信源符号集为 X： 0,1,2， 并定义pp1 2 0 1 1/2 1/2 1/3 1/3 1/3 1/3 1/3 1/3 H.F. (1) 试求信源平稳后状态“0” 、 “1” 、 “2”的概率分布 p(0)、p(1)、p(2)； (2) 求信源的极限熵 H； (3) p 取何值时 H取得最大值。 解：解： )bit/symbl 2 loglog() 2 log 23 1 2 log 23 1 log 3 1 (3 )/(log)/()()2( 3 1 )( 3 1 )( 3 1 )( )3 , 2 , 1(0)( 1)()()( )( )( )( 2/2/ 2/2/ 2/2/ )( )( )( ) 3 , 2 , 1)( ) 3 , 2 , 1,(0) 1(01 2/2/ 2/2/ 2/2/ 2 1 0 2 1 0 ) 1 ( 3 1 3 2 1 321 3 2 1 3 2 1 00 p ppp pppp pp SSpSSpSpH Sp Sp Sp iSp SpSpSp Sp Sp Sp ppp ppp ppp Sp Sp Sp iSp jinpn ppp ppp ppp P ij ij iji i T i ij 由 存在极限概率信源具有各态经历性， ，既有时二步转移概率均大于 移概率为：由题意，此信源一步转 symble/bit585. 13log 3 2 3 1 22 1 22 ) 2 log 22 log 2 log() 2 loglog(3) max H Hp pp p pp p pppp pp p pppH 取得最大，且时即由熵的极限定理，当 3.9 某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为 X：0,1,2。试求： (1)试求信源平稳后状态“0” 、 “1” 、 “2”的概率分布 p(0)、p(1)、p(2)； 0 1 2 p/2 p/2 p/2 p/2 p/2 p/2 H.F. (2)求信源的极限熵 H； (3)求当 p=0,p=1 时的信息熵，并作出解释。 解解: bit/symbl0) 1 (,1 bit/symbl0)0(,0(3) bit/symbl)()loglog( )log 3 1 log 3 1 log 3 1 log 3 1 log 3 1 log 3 1 ( )/(log)/()()2( 3 1 )( 3 1 )( 3 1 )( ) 3 , 2 , 1(0)( 1)()()( )( )( )( 0 0 0 )( )( )( )3 , 2 , 1)( , 0 0 0 2 1 0 2 1 0 ) 1 ( 3 1 3 2 1 321 3 2 1 3 2 1 HHp HHp pHpppp pppppppppppp SSpSSpSpH Sp Sp Sp iSp SpSpSp Sp Sp Sp pp pp pp Sp Sp Sp iSp pp pp pp P ij ij iji i T i 时 时 由 存在极限概率 期性、各态经历性信源此信源为不可约、非周由状态转移图可知 移概率为：由题意，此信源一步转 3.10 设某马尔柯夫信源的状态集合 S： S1S2S3， 符号集 X： 123。 在某状态 Si(i=1,2,3) 下发发符号k(k=1,2,3)的概率 p(k/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. (1) 求状态极限概率并找出符号的极限概率; (2) 计算信源处在 Sj(j=1,2,3)状态下输出符号的条件熵 H(X/Sj); p p p 0 1 2 H.F. (3) 信源的极限熵 H. 解解: symble/bit1) 2 1 log 2 1 2 1 log 2 1 ()/(log)/()/( symble/bit1) 4 1 log 4 1 2 1 log 2 1 ()/(log)/()/()2( 14 3 2 1 7 2 4 1 7 2 )()/()( 14 3 2 1 7 2 4 1 7 2 )()/()( 7 4 1 7 2 2 1 7 2 )()/()( : 7 2 )( 7 3 )( 7 2 )( )3 , 2 , 1(0)( 1)()()( )( )( )( 001 2/12/10 4/14/30 )( )( )( ) 3 , 2 , 1)( , 001 2/12/10 4/14/30 S S S S S S ) 1 ( 3 1 222 3 1 111 3 1 33 3 1 22 3 1 11 3 2 1 321 3 2 1 3 2 1 3 2 1 321 i ii i ii i ii i ii i ii i T i SapSapSXH SapSapSXH SpaSpap SpaSpap SpaSpap Sp Sp Sp iSp SpSpSp Sp Sp Sp Sp Sp Sp iSp P 各符号极限概率为 由 存在极限概率 期性、各态经历性信源此信源为不可约、非周由状态转移图可知 移概率为：由题意，此信源一步转 2:1/4 S1 S2 S3 3:1/2 2:1/2 1:1 1:1/2 3:1/4 H.F. bit/symbl660. 0 1log 7 2 ) 2 1 log 2 1 2 1 log 2 1 ( 7 3 ) 4 1 log 4 1 4 3 log 4 3 ( 7 2 )/(log)/()() 3( symble/bit01log)/(log)/()/( 3 1 3 1 333 ij ij iji i ii SSpSSpSpH SapSapSXH 3.12 下图所示的二进制对称信道是无记忆信道,其中pppppp, 1, 1,0,试写出 N=3 次扩展无记忆信道的信道矩阵P. 解解: 322 2 2 223 23 2 2 2 2 32 2 2 32 23 2 2 2 223 322 2 2 223 322 2 2 2 32 23 2 2 23 2 2 2 2 32 322 2 2 223 8 7 6 5 4 3 2 1 87654321 332211 87654321 321321 87654321 321321 )111( )110( )101( )100( )011( )010( )001( )000( )111( )110( )101( )100( )011( )010( )001( )000( :3N )/()/()/()/( )111(),110(),101(),100(),011(),010(),001(),000(: ; 8, 2 , 1,1 , 0, : )111(),110(),101(),100(),011(),010(),001(),000(: ; 8, 2 , 1,1 , 0),( :,3N pppppppppppppp pppppppppppppp pppppppppppppp pppppppppppppp pppppppppppppp pppppppppppppp pppppppppppppp pppppppppppppp P bapbapbapp jbbbbbb iaaaaaa jijijiij jjjjjjj iiiiiii 次扩展信道信道矩阵故直接可以写出 即 、其中 输出符号集为 即 、其中 信源输入符号集为次