信息理论与编码参考答案

1、.2.3 一副充分洗乱的牌（含52 张），试问：（ 1）任一特定排列所给出的不确定性是多少？（ 2）随机抽取 13 张牌， 13 张牌的点数互不相同时的不确定性是多少？解：（ 1） 52 张扑克牌可以按不同的顺序排列，所有可能的不同排列数就是全排列种数，为p5252528.0661067因为扑克牌充分洗乱，任一特定排列出现的概率相等，设事件a 为任一特定排列，则其发生概率为p a11.2410 6852可得，该排列发生所给出的信息量为ialog2 p alog 2 52225.5867.91bitdit（ 2）设事件b 为从中抽取13 张牌，所给出的点数互不相同。扑克牌 52张中抽取 13张，

2、不考虑排列顺序，共有c5213 种可能的组合。 13 张牌点数互不相同意味着点数包括a ， 2， k ，而每一种点数有4 种不同的花色意味着每个点数可以取 4 中花色。所以13 张牌中所有的点数都不相同的组合数为413 。因为每种组合都是等概率发生的，所以p b413413 13391.0568 104c521352则发生事件b 所得到的信息量为i blog p blog 241313.208c52133.976bitdit2.5 设在一只布袋中装有100 只对人手的感觉完全相同的木球，每只上涂有1 种颜色。100 只球的颜色有下列三种情况：(1) 红色球和白色球各 50 只；(2) 红色球

3、99 只，白色球 1 只；(3) 红，黄，蓝，白色各 25 只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。解：猜测木球颜色所需要的信息量等于木球颜色的不确定性。令r“取到的是红球” ， w “取到的是白球” ，y “取到的是黄球” ， b“取到的是蓝球” 。（ 1）若布袋中有红色球和白色球各50 只，即p r501p w2100则1i r iwlog 2 2log 2 2 1 bit（ 2）若布袋中红色球99 只，白色球1 只，即.pr99p w10.010.99100100则irlog2 prlog 2 0.990.0145bitiwlog2 p wlog 2 0.016.644

4、bit（ 3）若布袋中有红，黄，蓝，白色各25 只，即p rp yp bp w2511004则1iriyibiwlog2 42bit2.7设信源为xx1x2x3x4x5x6px0.20.190.180.170.160.1766求pxi log 2pxi，井解释为什么pxilog 2 pxilog 2 6 ，不满足信源熵的ii极值性。6解：pxilog 2pxii0.2log 2 0.20.19log 2 0.190.18log 2 0.18 0.17log2 0.170.16log 2 0.16 0.17log 2 0.172.657bit/symbol6ip xilog 2pxilog 26

5、2.5856不满足极值性的原因是pxi1.071 ，不满足概率的完备性。i2.8 大量统计表明，男性红绿色盲的发病率为7%，女性发病率为 0.5% ，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。（ 1）这二个回答中各含多少信息量?（ 2）平均每个回答中含有多少信息量?（ 3）如果你问一位女同志，则答案中含有的平均信息量是多少?解：对于男性，是红绿色盲的概率记作p a17%，不是红绿色盲的概率记作p a293% ，这两种情况各含的信息量为ia1log 21 pa1log 21003.83bit7ia2log 21 pa2log 21000.105bit93平均每个回答中含有的信息量为

6、h a p a1 i (a1 ) p a2 i (a2 )73.83930.1051001000.366bit/ 回答.对 于 女 性 ， 是 红 绿 色 盲 的 概 率 记 作 p b10.5% ， 不 是 红 绿 色 盲 的 记 作p b2 99.5%，则平均每个回答中含有的信息量为h b p b1 i (b1 ) p b2 i (b2 )5log 21000995log 210001000510009950.045 bit/ 回答hahb联合熵和条件熵2.9 任意三个离散随机变量x 、 y 和 z ，求证：h ( xyz ) h (xy ) h ( xz ) h (x ) 。证明：方法一

7、：要证明不等式hx ,y , zhx , yh z , xh x 成立，等价证明下式成立：h x , y, z h x ,y h x , z h x 0根据熵函数的定义h x ,y, z h x ,y h x , z h xpxi yjzklog pxi y j zkpxi y jzk logpxi y jxyzxyzpxiy j zklog p xi zkpxiy j zk log p xixyzxyzpxi yjzkpxi y j zkpxilogp xi zkxyzp xi y jlog epxi y j zkpxi y jpxi zk1(信息论不 等式 )p xi y j zkp xi

8、xyzlog epxi yjp xi zkpxi y j zkxyzpxixyzlog epyj | xipxi zkp xiyj zkxyzxyzlog e110所以h x ,y, z h x ,y h x , z h x等号成立的条件为pxi y jp xizkpxipxiy j zk得证方法二：因为h ( xyz )h ( xy )h (z | xy ).h ( xz )h ( x )h (z | x )所以，求证不等式等价于h ( z | xy)h ( z | x )因为条件多的熵不大于条件少的熵，上式成立，原式得证。2.11 设随机变量x x1, x20,1 和 y y1, y2 0

9、,1 的联合概率空间为xy(x1, y1 )( x1, y2 )(x2 , y1 )( x2 , y2 )pxy1 83 83 81 8定义一个新随机变量zxy （普通乘积） 。（ 1）计算熵 h ( x ) 、 h (y ) 、 h ( z ) 、 h ( xz ) 、 h (yz) 以及 h ( xyz ) ；（ 2）计算条件熵 h ( x |y) 、h (y | x ) 、h ( x | z ) 、h (z | x ) 、h (y | z ) 、h (z | y) 、h ( x | yz) 、 h (y | xz ) 以及 h (z | xy ) ；（ 3 ）计算互信息量i ( x ;

10、y) 、 i ( x ; z) 、 i (y; z ) 、 i ( x ; y | z ) 、 i (y; z | x ) 以及i ( x ; z | y ) ；解 （ 1） p x 0p x 0, y 0p x 0, y 11318821p x11px02hxipxilog pxi1 bit/symbolp y 0p x 0, y 0p x 1, y 01318821p y11py02hypy jlog py j1 bit/symboljp( z0)p( xy00)p(xy01)p(xy10)1337888871p( z1)1p( z0)188可得 zxy 的概率空间如下zz0z171p(

11、z)882p( zk)7711h (z )k8 log88log 8)0.544bit / symbol由 p(xz)p(x) p( z x) 得p( x 0, z0)p( x0) p( z0 x0)11122.p( x0, z1)p( x0) p( z1 x0)1 002p( x1, z0)p( x1) p( z0 x1)p(x1) p( y0 x1)p( x1, y30)8p( x1, z1)p( x1) p(z1 x1)p( x1) p( y1 x1)p(x1, y11)8h ( xz )p( xi zk )1133111.406bit / symbollog2log8log8ik288

12、由对称性可得h (yz )1.406bt / symbol由 p( xyz)p( xy) p( z xy), 又p(z xy)或者等于 1，或者等于 0.p( x0, y0, z0)p( x0, y0) p(z0 x0, y0)p(x0, y10) 18p( x0, y0, z1)p( x0, y0) p(z1 x0, y0)1008p( x0, y1, z0)p( x0, y1) p( z0 x0, y1)p( x0, y31) 18p( x0, y1, z1)p(x0, y1) p( z1 x0, y1)3008p( x1, y0, z0)p( x1, y0) p( z0 x1, y0)p

13、( x1, y30) 18p( x1, y0, z1)p(x1, y0) p( z1 x1, y0)3008p( x1, y1, z0)p(x1, y1) p(z0 x1, y1)1008p( x1, y1, z1)p(x1, y1) p(z1 x1, y1)p(x11, y 1) 18h ( xyz )p( xi y j zk )log 2 p( xiyj zk )ijk1 log 13 log 33 log 31 log 11.811bit / symbol88888888（ 2）hxy -1 log 13 log 33 log 31 log 11.811bit / symbol88888

14、888hx / y =hxy-h y1.81110.811bit / symbol根据对称性，.h x / z =hh z / x =hh y / x=hx |y0.811bit / symbolxz-hz1.4060.5440.862bit / symolxz-hx1.40610.406bit / symol根据对称性，h y / z=hx / z0.862bit / symbolhz / y=hz / x0.406bit / symolhx / yz=hxyz-h yz1.8111.4060.405bit / symol根据对称性，把x 和 y 互换得h y / xz=hx / yz0.4

15、05bit / symbolh z / xy=hxyz-hxy1.8111.8110bit / symol(3)ix ;yhxhx / y10.811 0.189bit / symbolix ; zhxhx / z10.8620.138bit / symbol根据对称性，得i y; zix ; z0.138bit / symbolix ;y / zhx / zhx / yz0.8620.4050.457bit / symboliy; z / xhy / xhy / xz0.8110.4050.406bit / symbol根据对称性得ix ; z / yiy; z / x0.406bit /

16、symbol2.17 设信源发出二次扩展消息xi yi ,其中第一个符号为a 、 b 、c三种消息，第二个符号为 d 、e、 f、 g 四种消息，概率p( xi )和p( yixi )如下：p( xi )dabc1/21/31/61/43/101/6p( yi xi )ef1/41/51/21/41/51/6g求二次扩展信源的联合熵h ( x ,y) 。1/43/101/6.解：联合概率为p( xi , y j )p( yj | xi ) p(xi )可得 x,y 的联合概率分布如下：p( xi yi )abcd1/81/101/36e1/81/151/12f1/81/151/36g1/81/

17、101/36所以h ( x , y)p(xi yi ) log p( xi yi )3.415比特 / 扩展消息xy2.19 设某离散平稳信源x ，概率空间为x012p11 364 9 1 4并设信源发出的符号只与前一个相邻符号有关，其联合概率为p(ai , a j )ai01aj01/41/1811/181/3201/18求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。解：边缘分布为3p( ai )p(ai a j )j 1p(ai , a j ) 如下表所示：201/187/36条件概率p(aj ai ) p(ai a j )p(a jai )0aj12所以信源熵为p( ai

18、) 如下表：ai019/111/82/113/401/8202/97/93p( ai )log p( ai ) h ( 11, 4, 1) 1.542 bit / symbolh ( x )i 13694条件熵：.33h ( x 2 x1 )p(ai a j )log p(a j ai )i 1 j1h ( x1) h ( x 2 x1 )0.87bit symol可知h ( x 2 x1) h ( x )因为无条件熵不小于条件熵，也可以得出如上结论。联合熵：33h ( x1 , x 2 )p(ai a j )logp( ai a j )i 1j 1h ( x1) h ( x 2 x1 )2.

19、41bit 二个符号说明：（1）符号之间的相互依赖性造成了信源的条件熵h ( x 2 x1) 比信源熵 h（ x ) 少。（ 2）联合熵 h ( x1 , x 2 ) 表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为h（2 x）= 1 h (x1 , x 2 )1.205bit 符号 h ( x )2原因在于h（2 x）考虑了符号间的统计相关性，平均每个符号的不确定度就会小于不考虑符号相关性的不确定度。2.20 黑白气象传真图的消息只有黑色（b）和白色（ w ）两种，即信源 x b， w ，设黑色出现的概率为 p(b) 0.3，白色的出现概率为p(w) 0.7 。（

20、 1）假设图上黑白消息出现前后没有关联，求熵h ( x )（ 2）假设图上黑白消息出现前后有关联，其依赖关系为p(w| w) 0.9， p(b| w) 0.1，p( w| b)0.2 ， p(b| b) 0.8 ，求此一阶马尔可夫信源的熵h 2 ( x ) 。（ 3）分别求上述两种信源的剩余度，并比较h (x ) 和 h 2 ( x ) 的大小，试说明其物理意义。解：（ 1）假设传真图上黑白消息没有关联，则等效于一个dms ，则信源概率空间为xbwp( x)0307.信源熵为2p( x)1xh ( x )p( ai ) log p( aj )i 1h (0.3,0.7)0.7 log 0.70

21、.3log 0.30.881 bitsymbol.（2）该一阶马尔可夫信源的状态空间集为sw , b根据题意可得状态的一步转移矩阵w b w 0.9 0.1 b 0.2 0.8状态极限概率p(w ), p(b) 满足p(s j )p( sj) p(si| sj ) ,p(si )1s jssis即p(w )p(w |w ) p(w )p(w | b) p(b)0.9 p(w )0.2p(b)p(b)p(b |w ) p(w )p(b | b) p(b)0.1p(w )0.8p( b)p(w ) p( b) 1可以解得2， p( b)1p(w )3该一阶马尔可夫信源的熵为3h 2p( sj )h

22、 ( x | sj )s jp( b）-0.2log0.20.8log0.8p( w）-0.9log0.90.1log0.11 h (0.2,0.8)2 h (0.9,0.1)33120.4690.553bit/symbol0.77233（3）黑白消息信源的剩余度为1=1h ( x )0.8810.1191log 2log 2一阶马尔可夫信源的剩余度为21h 210.5530.447log 2log 2由前两小题中计算的h ( x ) 和 h 2 比较可知h（ x ) h 2即12该结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性降低。所以，信源消息之间有依赖时信源熵小于信源

23、消息之间无依赖时信源熵。这表明信源熵反映了信源的平均不确定性的大小。 而信源剩余度反映了信源消息依赖关系的强弱，剩余度越大， 信源消息之间依赖关系就越大。2.23 设信源为 x = 1x13x2 px44试求：（ 1）信源的熵、信息含量效率以及冗余度；（ 2）求二次和三次扩展信源的概率空间和熵。解：（ 1）.h ( x )1 log 4 3 log 4 0.811 bit / 符号4430.81181.1%log 21 0.189（ 2）假设 x 为 dms ，则p( x1 x2 )p(x1) p( x2 )p( x1 x2 x3 )p( x1 ) p( x2 ) p( x3 )可得二次扩展信

24、源的概率空间x 2x1x1x2 x1x2 x1x2 x2px 21339161616162 次扩展信源的熵为h ( x 2 )2h ( x )1.622bit / 2元符号三次扩展信源的概率空间及熵为x 3x1x1 x1x1 x1x2x1 x2 x1 x1x2 x2x2 x1x1x2 x1 x2x2 x2 x1x2 x2 x2px 31339399276464646464646464h ( x 3 )3h ( x )2.433bit / 3元符号2.18 设有一个信源，它产生0， 1 符号的信息。它在任意时间而且不论以前发生过什么符号，均按p(0) 0.4, p(1) 0.6 的概率发出符号。

25、（ 1）试问这个信源是否是平稳的？（ 2）试计算 h ( x 2 ) , h ( x3 x1 x 2 ) 及 h ；（ 3）试计算 h ( x 4 ) 并写出 x 4 信源中可能有的所有符号。解：（ 1） 该信源在任何时刻发出的符号概率都是相同的，即信源发出符号概率分布与时间起点无关，因此这个信源是平稳信源。又因为信源发出的符号之间彼此独立。所以该信源也是离散无记忆信源。（ 2）h ( x 2 )2h ( x )2h(0.4,0.6)2(0.4log0.40.6log0.6)1.942 bit symbol.h ( x 3 / x1 x 2 )h ( x3 )（信源无记忆）p(xi )log

26、p( xi )i(0.4log 0.40.6log 0.6)0.971bit symbolhlim h ( x n x1x 2 l x n 1 )h ( x n )0.971 bit symboln（3）h ( x 4 ) 4h ( x )（信源无记忆）4 (0.4log 0.40.6log 0.6)3.884 bit4元符号x 4 的所有符号：0000 0001 0010 0011 0100 0101 0110 01111000 1001 1010 1011 1100 1101 1110 11112.23 设信源为 x = 1x13x2 px44试求：（ 1）信源的熵、信息含量效率以及冗余度

27、；（ 2）求二次和三次扩展信源的概率空间和熵。解：（ 1）h ( x )1 log 4 3 log 4 0.811 bit / 符号4430.81181.1%log 21 0.189（ 2）假设 x 为 dms ，则p( x1 x2 )p(x1 )p( x2 )p( x1 x2 x3 )p( x1 ) p( x2 )p( x3 )可得二次扩展信源的概率空间x 2x1x1x2 x1x2 x1x2x2px 2133916161616.2 次扩展信源的熵为h ( x 2 )2h ( x ) 1.622bit / 2元符号三次扩展信源的概率空间及熵为x 3x1x1x1x1 x1x2x1 x2 x1x1

28、x2 x2x2 x1x1x2 x1 x2px 3133964396464646464h ( x 3 )3h ( x ) 2.433bit / 3元符号2.25 设连续随机变量x 的概率密度函数为20 f x (x) = bxxa其他0（ 1）求 x 的熵；（ 2）求 y = x + a( a 0) 的熵；（ 3）求 y = 2x 的熵。解：（ 1）h( x ) -afx (x)log f x (x)dx0-ax log bx2dxf x0- log baax2 log xdxf x ( x)dx- 2b00- log b- 2b log ea2 ln xdxx02ba3log e-2ba 3l

29、og a -log b93x2 x2 x1x2 x2 x29 276464因为aaf x ( x)dxbx2dx100所以3b =a 2故h( x )2 log e- 2log a- log3 3log a3.2 log e- log3log a3（2） 首先求得y 的分布函数f yyfxayfxyayaf x ( x)dx1,ya ay a0fx (x)dx, a y a a0,yay 的概率密度为dffy ( y)dyb( ya)2 ,ayaa0,其它y 的微分熵为aafy ( y)dyh(y)aaab( y a) 2 log b( y a)2 dyaa22（令 t ya ）btlog btdt0h( x )2 log elog3log a3-因为已知x ，关于 y 没有不确定，常数a 不会增加不确定度，所以从熵的概念上也可判断此时h(y)h( x )（ 3）首先求得y 的分布函数.f yyf 2 xyfxy / 2y /2f x ( x) dx1,y2ay/2f x (