信息论与编码习题参考答桉

1、信息论与编码习题参考答桉12002 Copyright EE Lab508 信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： 样本空间：(1)P1?(2)P2?n1Nn2N?N?c6c6?6?6?I(a)?logP1?log18?I(a)?logP2?log36? (3)信源空间： X P(X) X P(x) X P(x) X P(x) X P(x) ?H(x)?1

2、5?236(1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 ?log362(1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 ?6?136(1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36(1,6) 2/36 ?log36? (4)信源空间： X P(x) 2 3 4 5 6 7 8 9 10 11 12 1/3

3、6 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 236?log36?log?log?636?log363?836?log364 ?H(x)? ?1036?log366?(5) P3? n3N?1136?I(a)?logP3?log3611? ? 2002 Copyright EE Lab508 如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为, ,但A，B不能同时落入同一方格内。 若仅有质点A，求A落入任一方格的平均信息量； 若已知A已落入，求B落入的平均信息量； 若A，B是可辨认的，求A，B落入

4、的平均信息量。 解： (1)?A落入任一格的概率48:P(ai)?148?I(ai)?logP(ai)?log48 ?H(a)?P(ai)logP(ai)?log48?1(2)?在已知A落入任一格的情况下?I(bi)?logP(bi)?log4748,B落入任一格的概率是:P(bi)?147?H(b)?P(bi)logP(bi)?log47?1(3)AB同时落入某两格的概率?I(ABi)?logP(ABi)48?47是P(ABi)?148?147 H(ABi)?P(ABi?1i)logP(ABi)?log(48?47)?从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问

5、一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解： 对于男士:回答“是”的信息量：回答“不是”的信息量平均每个回答信息量：I(my)?logP(my)?log7%?：I(mn)?logP(mn)?log93%?(m)?P(my)?logP(my)?P(mn)?logP(mn)?-7%?log7%-93%?log93%?对于女：回答“是”的信息量：回答“不是”的信息量平均每个回答信息量：I(wy)?logP(wy)?%：I(mn)?logP(mn)?%H(

6、m)?P(wy)?logP(wy)?P(wn)?logP(wn)? ?-%?%-%?%? 2002 Copyright EE Lab508 某一无记忆信源的符号集为0，1，已知p0?13，p1?23 。 求符号的平均信息量； 1000个符号构成的序列，求某一特定序列个“1”）的自信量的表达式； 计算中序列的熵。 解： H(x)?p0logp0?p1logp1?13?log13?log23? bit/symble23bitI(A)?mlogp0?(1000?m)logp?mlog?(1000?m)log H(A)?1000H(X)?1000?918 bit/sequence m1000?mH(A

7、)?p0logp0?i?1?i?1p1logp1?m3log?2(1000?m)设信源X的信源空间为： a1 a2 a3 a4 a5a6 ?X： x?p：?p(X) ?求信源熵，并解释为什么H(X)log6，不满足信源熵的极值性。 解： 6H(X)?p(ai)logp(ai)i?1?2?bit/symble 可见H(X)?log6? 不满足信源熵的极值性r， 但是本题中 这是因为信源熵的最大6值是在?i?1pi?1 的约束条件下求得的，立的约束条件，所以?i?1pi?不满足信源熵最大值成H(X)?log6。 为了使电视图象获得良好的清晰度和规定的对比度，需要用5105个像素和10个不同的亮度电

8、平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率。 解： 于亮度电平等概出现，熵的极值性：10每个像素的熵是： H(x0)?i?1p(ai)logp(ai)?log10? bit/pels556每帧图像的熵是： H(X)?5?10?H(x0)?5?10?10 bit/frame?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?106?10 bit/s 7 ? 2002 Copyright EE Lab508 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的

9、信息率要比黑白系统的信息率大倍左右。 证: 增加30个不同色彩度所以每个像素需要用,在满足黑白电视系统要30?10?300bit量化300求下,每个色彩度需要10个亮度,?每个像素的熵是： H(x1)?H(x1)H(x0)?log300log10?i?1p(bi)logp(bi)?log300bit/pels?信息量比黑白电视系统比黑白电视系统高大倍作用,所以传输相同的倍左右. ?彩色电视系统每个像素图形,彩色电视系统信息率要每帧电视图像可以认为是3105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，

10、在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解: 每帧图象所含信息量5:56H(X)?3?10?H(x)?3?10?log128?10bit/symble每个汉字所出现概率p? ?每个汉字所包含信息量描述一帧图像需要汉字n?H(X)H(c)?106:H(c)?logp数n,H(X)?nH(c)?10/frame55?最少需要?10个汉字给定一个概率分布(p1,p2,.,pn)和一个整数m，0?m?n。定义qm?1?pi，证明：i?1H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)。并说明等

11、式何时成立？ 证： 先证明f(x)?xlogx(x?0)为凸函数，如下：?f?(x)?(?xlogx)?f?(x)?(?xlogx)?logexlogexm又x?0 ?0 即f(x)?xlogx(x?0)为凸函数。n又?H(p1,p2,.,pn)?pilogpi?i?1?i?m?1pilogpi? 2002 Copyright EE Lab508 凸函数的性质，变量n函数的平均值小于变量n的算术平均值的函数，nn可得：n?pilogpi?(n?m)ni?m?1f(pi)?i?m?1n?mqm?(n?m)f(i?m?1)?(n?m)i?m?1logi?m?1?qmlogn?mn?mn?mn?m?

12、pi?pi?pi即?i?m?1pilogpi?qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。mnm?H(p1,p2,.,pn)?pilogpi?pilogpi?pilogpi?qmlogqm?qmlog(n?m)i?1i?m?1i?1m?H(p1,p2,.,pm,qm)?pilogpi?qmlogqmi?1?H(p1,p2,.,pn)?H(p1,p2,.,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?.?pn时等式成立。 找出两种特殊分布: p1p2p3pn，p1p2p3pm,使H(p1,p2,p3,pn)=H(p1,p2,p3,pm)。n

13、m解：H(p1,p2,.,pn)?pilogpi?H(q1,q2,.,qm)?qilogqi i?1i?1 ? 2002 Copyright EE Lab508 两个离散随机变量X和Y，其和为ZXY，若X和Y统计独立，求证： (1) H(X)H(Z), H(Y)H(Z) (2) H(XY)H(Z) 证明： 设X、Y的信源空间为：?Yb1b2.bs?Xa1a2.arX?P:?Y?P:?P(X) p1p2. pr ?P(Y)q1q2. qs 又X,Y统计独立trsrs?H(Z)?pzklogpzk?k?1ti?1?j?1si?1p(ai?bj)logp(ai?bj) ?i?1sss?(pj?1i?

14、qj)log(pi?qj)?H(XY) 又H(Z) ?r?k?1spzklogpzk?(?(pilog(pi?qj)?j?1ri?1spiqj)?log(sj?i?1j?1piqj)? ?i?1r?j?1sj?1?qj?1j?1log(pi?qj)? ?qi?1jlog(pi?qj)?-?qjlog(qj)第二章 单符号离散信道 ?Xa1a2 设信源X?P:? 通过一信道，信道的输出随机变量Y的符号集 P(X)? b1 b2Y:b1,b2,信道的矩阵：P?a1?5/6?a2?1/41/6? ?3/4?试求： (1) 信源X中的符号?1和?2分别含有的自信息量； (2) 收到消息Yb1，Yb2后

15、，获得关于?1、?2的互交信息量：I(?1;b1)、I(?1;b2)、I(?2;b1)、I(?2;b2)； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解: ? 2002 Copyright EE Lab508 (1) I(a1)?logp(a1)? bitI(a2)?logp(a21)? bit(2) I(a1;b1)?logI(a1;b2)?logI(a2;b1)?logI(a2;b2)?log2p(b1a1)p(b1)p(b2a1)p(b2)?log5/?5/6?1/41/?1/6?3/

16、41/4?bit?log?bitp(b1a2)p(b1)p(b2a2)p(b2)?5/6?1/43/?1/6?3/? bit?log?bit(3)上:p(b1)?p(b2)?2?i?12p(ai)p(b1ai)?p(ai)p(b2ai)?i?1?H(X)?p(ai)logp(ai)?(?)? bit/symblei?12 H(Y)?p(bj)logp(bj)?(j?log?log41120)? bit/symble(4)H(YX)?j?1i?1p(aibj)logp(bjai)?j?1i?1p(ai)p(bjai)logp(bjai)? bit/symble又I(X;Y)?H(Y)?H(YX)

17、?H(X)?H(XY)?H(XY)?H(X)?H(YX)?H(Y)? bit/symble(5)?I(X;Y)?H(Y)?H(YX)? bit/某二进制对称信道，其信道矩阵是： 0 10?P?1? ?设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进制符号，并设在这消息中p(0)= p(1)=。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。 解: 于二进制对称信道输入等概信源?I(X;Y)?C?1?H(?)?1?log?(1?)log(1?)?1? bit/symble?信道在10秒钟内传送14000个二进制符号最大码率Ct?C?14

18、000symble/10s? bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.为:? 2002 Copyright EE Lab508 有两个二元随机变量X和Y，它们的联合概率为PX=0,Y=0=1/8，PX=0,Y=1=3/8，PX=1,Y=1=1/8，PX=1,Y=0=3/8。定义另一随机变量Z=XY，试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ); (2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X

19、;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解: (1)题意: X的分布:p(X?0)?Y的分布:p(Y?0)?1818?3838?1212;p(X?1)?1818?38838?1212.;p(Z?1)?;.;p(Y?1)?18Z?XY的分布为:X的分布:p(Z?0)?且p(X?0,Z?0)?p(X?0)? p(Y?0,Z?0)?p(Y?0)?H(X)?( H(Y)?(12log1212?1212log?38?378;p(X?0,Z?1)?0;p(X?1,Z?0)?38;p(X?1,Z?1)?18;p(Y?0,Z?1)?0;p(Y?1,Z?0)?

20、;p(Y?1,Z?1)?)?1 bit/symble; 12loglog)?1bit/symble7711 H(Z)?(log?log)?bit/symbleH(XZ)?p(xizk)logp(xizk)i?1k?1 ?(pxz(00)logpxz(00)?pxz(10)logpxz(10)?pxz(01)logpxz(01)?pxz(11)logpxz(11)?13 ?(?)log(?)?log?0?log?/symble?88?上面X、Y、Z的概率分布:H(YZ)?H(XZ)?/symble ? 2002 Copyright EE Lab508 (2)p(X?0Y?0)?pxy(00)?p

21、xy(01)py(1)2pxy(00)py(0)?1/81/2?14;pxy(10)?14pxy(10)py(0)?3/81/2?34;pxy(01)?23/81/2?34;pxy(11)?pxy(11)py(1)?1/81/2?.?H(XY)?i?1?j?1p(xiyj)logp(xiyj)?pxy(00)logpxy(00)?pxy(01)logpxy(01)?pxy(10)logpxy(10)?pxy(11)logpxy(11)?(18?log14?38?log34?38?log34?18?log14)?/symble?I(X;Y)?H(X)?H(XY)?H(Y)?H(YX)且H(X)?

22、H(Y)?H(YX)?H(XY)?/symble同理:2222H(XZ)?p(xizk)logp(xizk)?p(xizk)logp(xizk)p(zk)i?1k?1i?1k?1?pxz(00)logpxz(00)?pxz(01)logpxz(01)?pxz(10)logpxz(10)?pxz(11)logpxz(11)?(12?log1/27/82?0?238?log3/87/8?18?log1/81/82)? bit/symble2H(ZX)?p(zkxi)logp(zkxi)?p(zkxi)logp(zkxi)p(xi)k?1i?1k?1i?1?pzx(00)logpzx(00)?pzx

23、(01)logpzx(01)?pzx(10)logpzx(10)?pzx(11)logpzx(11)?(12?log1/21/2?0?38?log3/81/2?18?log1/81/2)? bit/symbleX、Y、Z的概率: H(YZ)?H(XZ)? bit/symbleH(ZY)?H(ZX)? bit/symble?pxyz(001)?pxyz(101)?pxyz(011)?pxyz(110)?H(XYZ)?i?1?j?1k?1p(xiyjzk)logp(xiyjzk)?i?1?j?1k?1p(xiyjzk)logp(xiyjzk)p(yjzk)?pxyz(111)logpxyz(111

24、)pyz(11)?(pxyz(000)logpxyz(000)pyz(00)?pxyz(010)logpxyz(010)pyz(10)?pxyz(100)logpxyz(100)pyz(00)11/833/833/811/8?(log?log?log?log)? bit/symble81/283/881/281/8H(YXZ)?H(XYZ)? bit/symble?H(ZXY)?i?1?j?1k?1p(xiyjzk)logp(zkxiyj)?i?1?j?1k?1p(xiyjzk)logp(xiyjzk)p(xiyj)?pxyz(111)logpxyz(111)pxy(11)?(pxyz(000

25、)logpxyz(000)pxy(00)?pxyz(010)logpxyz(010)pxy(01)?pxyz(100)logpxyz(100)pxy(10)11/833/833/811/8?(log?log?log?log)?0 bit/symble81/883/883/881/8? 2002 Copyright EE Lab508 (3)上:I(X;Y)?H(X)?H(XY)?1? bit/symbleI(X;Z)?H(X)?H(XZ)?1? bit/symbleI(Y;Z)?H(Y)?H(YZ)?1? bit/symbleI(X;YZ)?H(XZ)?H(XYZ)? bit/symbleI(

26、Y;ZX)?H(YX)?H(YXZ)? bit/symbleI(X;ZY)?H(XY)?H(XYZ)? bit/symble 已知信源X的信源空间为 ?X:a1 a2 a3 a4 X?P:?P(X): 某信道的信道矩阵为： b1 b2 b3 b4 a1?a3?a4? ?试求： (1)“输入?3，输出b2的概率”； (2)“输出b4的概率”； (3)“收到b3条件下推测输入?2”的概率。 解： (1)p(a3;b2)?p(a3)p(b2a3)?(2)p(b4)?(3)p(b3)?i?14p(aib4)?p(aib3)?i?14p(ai)p(b4ai) ?(ai)p(b3ai)?i?1?i?1p(

27、a2b3)?p(a2)p(b3a2)p(b3) 已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。 (1) P(A)=10-2； (2) P(A)=1/32； (3) P(A)=。 ? 2002 Copyright EE Lab508 解: (1)此信道为准对称离散信p(bl)l?1?p(bl)l?2?2道,且s1?2,s2?112?(p?q?2?)1r1r?(p?q?)?(2?)?12?2?,p2?,p3?)?C1?slp(bl)logp(bl)?H(p1l?1?2?12?(p?q?2?)log12?(p?q?2?)

28、?log?H(p?,q?,2?)?(p?)log(p?)?(q?)log(q?)?2?log?(p?q?2?)log(2)此信道为准对称离散信p(bl)l?1?p(bl)l?2?2p?q?2?212道,且s1?2,s2?2?2?12?(p?q?2?)1r1r?(2?0)?(p?q?)?,p2?,p3?,p4?)?C2?slp(bl)logp(bl)?H(p1l?1?2?log?2?12?(p?q?2?)logp?q?2?212?(p?q?2?)?H(p?,q?,2?,0) ?(p?q?2?)log上面C1、C2表达式可知?(p?)log(p?)?(q?)log(q?)?2?:C1?C2且当?0

29、时等号成立.设某信道的信道矩阵为 ?p1?P?00p20?0?0?其中P1,P2，?，PN是N个离散信道的信道矩阵。令C1，C2，?，?pN?NCN表示N个离散信道的容量。试证明，该信道的容量C?logCi-C?2i?1ci比特/符号，且当每个信道i的利用率pi2证明: (i1,2,?,N)时达其容量C。 设:Pm为lm行?km列(m?1,2,?N)ss方程组?j?1p(bj/ai)?j?s?j?1jp(bj/ai)logp(bj/ai)(i?1,2,?r)?(1)NNm m解出?j可得C?log?j?12?(其中s?:?km?1,r?lm?1)P特点,方程组(1)可以改写为? 2002 Co

30、pyright EE Lab508 s?k1p1p1p1p1p(b/a)?p(b/a)logp(bjjjj/ai)?ii?j1?1?j?1s?k2p2p2p2p2?p(bj/ai)?j?p(bj/ai)logp(bj/ai)(i?1,2,?r)?(2)j1?1?j?1?s?kNpnpnpnpn?p(bj/ai)?j?p(bj/ai)logp(bj/ai)j1?1?j?1km其中Cm?logs?j?12?pmkmj(m?1,2,?,N),即?2j?1Nkm?pmj?2Cm?C?log?j?12?j?log?m?1(?2j?1km?pmNj)?log?m?1kmj?12Cmpmj且在各信道利用率为

31、:pm?N?j?12(?pmj?C)(?log2?C)?2?2(Cm?C)(m?1,2,?,N)时取得信道容量 C?log?m?12Cm第三章 多符号离散信源与信道 设XX1X2?XN是平稳离散有记忆信源，试证明： H(X1X2?XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+?+H(XN / X1 X2?XN-1)。 (证明详见p161-p162) 试证明：logrH(X) H(X2/ X1) H(X3/ X1 X2) ?H(XN / X1 X2?XN-1)。 证明: ? 2002 Copyright EE Lab508 离散平稳有记忆信源条件概率的平稳性有:p(aik/

32、ai2ai3?aik?1)?p(aik?1/ai1ai2?aik?2)rr?H(Xk/X1X2?Xk?1)?i1?1ri1?1r?ik?1?1r?p(ai1?aik?1)?rr?ik?1?p(aik/ai1ai2?aik?1)logp(aik/ai2ai3?aik?1)?i1?1r?ik?1?1ik?1rrp(ai1ai2?aik?1aik)logp(aik/ai2ai3?aik?1)p(ai1ai2?aik?1aik)logp(aik?1/ai1ai2?aik?2)?ik?1?1ik?1r?i1?1?ik?1?1p(ai1ai2?aik?1)logp(aik?1/ai1ai2?aik?2)?

33、H(Xk?1/X1X2?Xk?2)重复应用上面式子可得:H(X)?H(X2/X1)?H(X3/X1X2)?H(XN/X1X2?XN?1)又仅当输入均匀分布时，H(X)达到最大logr，即logr?H(X)?logr?H(X)?H(X2/X1)?H(X3/X1X2)?H(XN/X1X2?XN?1) 试证明离散平稳信源的极限熵： H?limH(Xn?N/X1X2XN?1) (证明详见p165-p167) 设随机变量序列(XYZ)是马氏链，且X：a1, a 2,?, a r，Y：b1,b2, ?,bs,Z:c1,c2, ?,cL。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, ?,r;j=

34、1,2, ?,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,?,L;j=1,2, ?,s)。试证明：X与Z之间的转移概率： sp(ck/ai)?j?1p(bj/ai)p(ck/bj) 证明: ? 2002 Copyright EE Lab508 p(ck/ai)?p(Z?ck/X?ai)ss?p(Z?ck,?Y?bj/X?ai)?j?1s?j?1p(Z?ck,Y?bj/X?ai)?j?1p(Y?bj/X?ai)P(Z?ck/Y?bj,X?ai) ?XYZ为Markov序列?P(ck/bj,ai)?P(ck/bj)s?p(ck/ai)?p(Y?bj/X?ai)P(Z?ck/Y?bj)

35、j?1 试证明：对于有限齐次马氏链，如果存在一个正整数n01，对于一切i，j1，2，?，r，都有pij(n0)0，则对每个j1，2，?，r都存在状态极限概率： limpij(n)?pj(j?1,2,?,r) n?(证明详见:p171175) 设某齐次马氏链的第一步转移概率矩阵为： 012 0?qp0? 1q0p?2?0qp?试求： (1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。 解： ?q?(1)P(2)?P?P?q?0(2)：T2?p(0)?q?p0?p(0)?q(1?p)q?p(0)?p?p(1)1?pq1?pq?p(1)?q0?p?p(2)?0

36、q?p(2)?p(1)?(1?q)(1?p)?pq?1?pq1?pq?p(0)?p(1)?p(2)?1?2?p(1?q)p?p(0)?1?pq1?pq?p(i)?0(i?0,1,2)p0q0?q?pq?p?0p0q20?q?pq?2p?q?q2p?pq2pqpq?2p?2pq?p?p2 设某信源在开始时的概率分布为PX0=0=;P X0=1=; P X0=2=。第一个单位? 2002 Copyright EE Lab508 时间的条件概率分布分别是： P X1=0/ X0=0=1/3; PX1=1/ X0=0=1/3; P X1=2/ X0=0=1/3; P X1=0/ X0=1=1/3; P

37、 X1=1/ X0=1=1/3; P X1=2/ X0=1=1/3; PX1=0/ X0=2=1/2; P X1=1/ X0=2=1/2; P X1=2/ X0=2=0. 后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/ X0)(i2)试画出该信源的香农线图，并计算信源的极限熵H。 解： 题意，此信源为一阶有记忆信源：0 1 20?1/31/31/3?且一步转移概率为：P?1?1/31/31/3?2?1/21/20?1/31/31/3?1/31/31/3?1/37/182/9?P(2)?P?P?1/31/31/3?1/31/31/3?7/187/182/9?1/21/20

38、?1/21/20?1/31/31/3?n0?2时二步转移概率均大于0，既有pij(n0?2)?0(i,j?1,2,3)?信源具有各态经历性，存在极限概率p(Si)(i?1,2,3)?p(S1)?1/31/31/3?T?p(S1)?3?p(S2)?1/31/31/3?p(S2)?p(S1)?8?p(S?3)?1/21/20?p(S3)?3?p(S?p(S2)?p(S1)2)?p(S3)?1?8?1?p(S3)?p(S?4i)?0(i?1,2,3)3?H?p(Si)p(Sj/Si)logp(Sj/Si)i?1j?3?(38?13log13)?3?(38?13log13)?2?(1114?2log2

39、)?/symbl香农线图如下： 1/3 1/3 1/3 0 1/3 1 1/2 1/3 1/2 1/3 2 ? 2002 Copyright EE Lab508 某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：0,1,2，并定义p?1?p p p p/2 p/2 0 1 p/2 p/2 p/2 p/2 2 (1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H； (3) p取何值时H取得最大值。 解： (1)题意，此信源一步转0 1 20?pp/2p/2?P?1?p/2pp/2?2?p/2p/2p?n0?1时二步转移概率均大于

40、?信源具有各态经历性，?p(S)?p?1?p(S2)?p/2?p/2p(S3)?p/2pp/20，既有pij(n0?1)?0(i,j?1,2,3)p(Si)(i?1,2,3)?p(S1)?p(S2)?p(S3)?移概率为：p 存在极限概率p/2?p/2?p?T?p(S1)?p(S2)?p(S3)?p(S1)?p(S2)?p(S3)?1?p(Si)?0(i?1,2,3)3 (2)?H?i?1?jp(Si)p(Sj/Si)logp(Sj/Si)13?p2logp2?13?p2logp2)?(plogp?plogp2)bit/symbl ?3?(13plogp?(3)H?(plogp?plog?p?

41、p2?p2p2)?(plogp?p2logp2?p2p2?p213logp2)23时H?取得最大，且?1?熵的极限定理，当p?即p? H?max?log3?/symble ? 2002 Copyright EE Lab508 某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：0,1,2。试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H； (3)求当p=0,p=1时的信息熵，并作出解释。 p p 0 p 1 p p 2 p 解: (1)题意，此信源一步转0120?p0p?P?1?pp0?2?0pp?状态转移图可知?存在极

42、限概率?p(S)?p?1?p(S2)?p?0p(S3)?,此信源为不可约、非周期性、各态经历性信源p(Si)(i?1,2,3)0ppp?0?p?T移概率为：?p(S1)?p(S2)?p(S3)?p(S1)?p(S2)?p(S3)?1?p(Si)?0(i?1,2,3)3?p(S1)?p(S2)?p(S3)?(2)?H?i?1?jp(Si)p(Sj/Si)logp(Sj/Si)13?plogp?13plogp?13?plogp?13plogp?13?plogp) ?(13plogp? ?(plogp?plogp)?H(p)bit/symbl(3)p?0时,H?H(0)?0bit/symblp?1时

43、,H?H(1)?0bit/symbl ? 2002 Copyright EE Lab508 设某马尔柯夫信源的状态集合S：S1S2S3，符号集X：123。在某状态Si(i=1,2,3)下发发符号k(k=1,2,3)的概率p(k/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. (1) 求状态极限概率并找出符号的极限概率; (2) 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); (3) 信源的极限熵H. 2:1/2 1:1/2 S1 S2 2:1/4 3:1/4 1:1 3:1/2 S3 解: (1)题意，此信源一步转移概率为：S1S2S3S1

44、?03/41/4?P?S?2?01/21/2?S3?100?状态转移图可知,此信源为不可约、非周期性、各态经历性信源?存在极限概率p(Si)(i?1,2,3)?p(S)?03/41/4?T?p(S2?11)?p7?p(S2)?01/21/2?p(S2)?(S1)?p(S3)?100?p(S?3)?p(S32)?p(S1)?p(S2)?p(S3)?1?7?2?p(S3)?p(S?7i)?0(i?1,2,3)各符号极限概率为:3p(ap(S241)?i/a1)p(Si)?i?17?12?27?1?73p(a?p(S22)?i/a2)p(Si)?i?17?14?27?12?3143p(a?p(S22

45、133)?i/a3)p(Si)?i?17?14?7?2?143(2)H(X/S1111)?p(ai/S1)logp(ai/S1)?(i?12log2?14log4)?1bit/symble3H(X/S12)?p(ai/S2)logp(ai/S2)?(i?12log112?2log12)?1bit/symble? 2002 Copyright EE Lab508 3H(X/S3)?p(ai/S3)logp(ai/S3)?log1?0bit/symblei?13(3)?H?i?1?jp(Si)p(Sj/Si)logp(Sj/Si)log34?14log14)?37?(12log12?12log12

46、)?27?log1 ?27?(34?/下图所示的二进制对称信道是无记忆信道,其中0?p,p?1,p?p?1,p?p,试写出N=3次扩展无记忆信道的信道矩阵P. 0p 0p X Y p p 1 1解: 将二进制对称无记忆信道N?3次扩展后,信源输入符号集为:?i?(ai1ai2ai3),其中ai1、ai2、ai3?0,1,i?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)输出符号集为:?j?bj1bj2bj3,其中bj1、bj2、bj3?0,1,j?1,2,?8;即:?1?(000)

47、,?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)?p(?j/?i)?p(ai1/bj1)?p(ai2/bj2)?p(ai3/bj3)故直接可以写出N?3次扩展信道信道矩阵: ?1?2?3?4?5?6?7 ?8(000) (001) (010) (011) (100) (101) (110) (111)?1?(000)?p?2?3P?3?4?5?6?7?8?2?(001)?pp2?(010)?pp?(011)?pp2?2?(100)pp?(101)?pp2?(110)?pp2?(111)?p3?ppp2322ppppp

48、2322pp222pppppppp33222pp232ppp232pppppp3ppp22pppppp22pppp2322ppppp232pp3322ppp22ppppp232ppppppp22pppppp222pppppppppppppp?2pp?2?pp?2pp?2?pp?2pp?2pp?3?p?p3 ? 2002 Copyright EE Lab508 第五章 多维连续信源与信道 设X(?)是时间函数x(t)的频谱,而函数在T1?X(f)?n?X(nT)sin(n?fT)n?fT (频域抽样定理,证明详见p263-p265)设随机过程x(t)通过传递函数为K(?)的线性网络,如下图所示.

49、若网络的频宽为F,观察时间为T.试证明:输入随机过程的熵h(X)和输出随机过程的熵h(Y)之间的关系为: x(t) 网络 K(?) ?n?h(Y)?h(X)?logK?T?n?1FT2y(t) (证明详见p283-p287) 证明:加性高斯白噪声信道的信道容量: C?N2log(1?2X2N) 信息单位/N维 其中N=2FT,2X是信号的方差(均值为零), 2N是噪声的方差(均值为零). 再证:单位时间的最大信息传输速率 Ct?Flog(1?2XN0F) 信息单位/秒 (证明详见p293-p297)设加性高斯白噪声信道中,信道带宽3kHz,又设(信号功率+噪声功率)/噪声功率=10dB.试计算

50、改信道的最大信息传输速率Ct. 解: 题意有:10logS?NNSN?10?S?NN?10即SN?9 ?Ct?Flog(1?)?3000?log(1?9)? bit/s? 2002 Copyright EE Lab508 在图片传输中,每帧约有106个像素,为了能很好的重现图像,需分16个量度电平,并假设量度电平等概率分布,试计算每分钟传输一帧图片所需信道的带宽(信噪功率比为30dB). 解: 题意用16个亮度电平来表示一个又Ct?Flog(1?F?Ctlog(1?SN)?SN)得:Ct1像素则需要4位二进制编码; ?)?10?4?60log(1?10)36log(1?1010(SN?104?

51、) 设电话信号的信息率为104比特/秒.在一个噪声功率谱为N0=510-6mW/Hz,限频F、限输入功率P的高斯信道中传送,若F=4kHz,问无差错传输所需的最小功率P是多少W?若 F则P是多少W? 解: (1)F?4kHz时,实现无差错传输则取等号,即R?Flog(1?RR?Flog(1?PN0F)PminN0F?6)得?104Pmin?N0F(2F?1)?5?10所以无差错传输所需要?10?3?4?10?(234?103?1)?得最小功率Pmin?limCt?F?4?6(2)F?时,实现无差错传输则PxN0ln2?3?4取等号,则Pmin?RN0ln2?10?5?10?10?ln2?10?

52、 已知一个高斯信道,输入信噪功率比为3dB,频带为3kHz,求最大可能传送的信息率是多少?若信噪比提高到15dB,求理论上传送同样的信息率所需的频带. 解: 最大可能传输的速率为R?Ct?Flog(1?若(SN)dB?15则F?:SN1)?Flog(1?1010?)(SN)dB3)?3?10?log(1?1010)? bit/s? Hz3Rlog(1?(1?1010) ? 2002 Copyright EE Lab508 设某加性高斯白噪声信道的通频带足够宽(F),输入信号的平均功率Ps=1W,噪声功率谱密度N0=10W/Hz,若信源输出信息速率Rt=10比特/秒.试问单位时间内信源输出的信息

53、量是否全部通过信道?为什么? 解: ?limCt?F?-44PsN0ln2?110?4?ln2?10bit/s?Rt?10bit/s传输速率,所以单位时间内信源输.44即信源输出信息速率大出的信息量不能全部通于信道所能提供的最大过信道,否则会产生失真 第六章 无失真信源编码 设平稳离散有记忆信源XX1X2?XN,如果用r进制符号集进行无失真信源编码.试证明当N时,平均码长n(每信源X的符号需要的码符号数)的极限值: limn?H?r N?其中,Hr表示r进制极限熵. 证明: 对于平稳离散有记忆信H?limHN?N源X?X1X2?XH(X)N?limH(XN?N(X)?limN?N/X1X2?XN)平均码长界限定理H(X)logr则?nX?H(X)logrnXN?1H(X)N?logrnXN1NH(X)N?logr?1N)H(X)N?logr? ?lim即H(X)N?logrN?limN?lim(N?H?logr?limn?N?H?logr?limn?N?H?logr?H?r 设某信源S:s1,s2,s3,s4,s5,s6,其概率分布如下表所示,表中也给出了对应的码1,2,3,4,5,6. (1)试问表中哪些码是单义可译码? (2)试问表中哪些