信息论第章习题答案课件

1、信息论第章习题答案2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这件事的自信息量；(2) “两个1同时出现”这件事的自信息量；(3) 两个点数中至少有一个是1的自信息量。bitxpxIxpiii 170. 4181log)(log)(22解：(1)信息论第章习题答案(2)bitxpxIxpiii 170. 5361log)(log)(3616161)(22225511()1663611()log()log1.710 36iiip xI xp xbit (3)信息论第章习题答案2.2 设在一只布袋中装有100只对人手的感觉

2、完全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只；求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。(1)( )()50/1001/2( )()log21()(2)( )99/1000.99()1/1000.01( )log100/990.0145()()log1006.644()(3)( )( )( )()25/1001/4( )()()()log42()p Rp WI RI Wbitp Rp WI RbitI Wbitp Rp Yp Bp WI RI WI WI Wbit信

3、息论第章习题答案 2.3 在布袋中放入81个硬币，它们的外形完全相同。已知有一个硬币的重量与其他81个硬币的重量不同，但不知这一个硬币是比其他硬币重还是轻。问确定随意取出的一个硬币恰好是重量不同的一个硬币所需要的信息量是多少？若要进一步确定它比其他硬币是重一些还是轻一些所需要的信息量是多少？( )1/81( )log( )6.34()p AI AP Abit ( ) ( )1/81 1/2log(1/81 1/2)7.34()pp A p BIbit 信息论第章习题答案 习题2.4 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数

4、一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问可获得多少信息量？解：设随机变量X代表女孩子学历Xx1（是大学生）x2（不是大学生）P(X)0.250.75设随机变量Y代表女孩子身高Yy1（身高160cm）y2（身高160cm）y2（身高160cm）P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的即：p(y1/ x1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量,即：1111111212() (/)(/)log (/)log()0.25 0.75log1.415 0.5p xp yxI xyp xyp ybit 信息论第章习题答案2.18 有

5、两个二元随机变量X和Y，它们的联合概率为 X Yx1=0 x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY（一般乘积），试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。信息论第章习题答案218381)()()(21111yxpyxpxpsymbolbitypy

6、pYHyxpyxpypyxpyxpypsymbolbitxpxpXHyxpyxpxpjjjiii/ 1)(log)()(218183)()()(218381)()()(/ 1)(log)()(218183)()()(22221212111222122 X Yx1=0 x2=1y1=01/83/8y2=13/81/8解：(1) H(X), H(Y) 信息论第章习题答案Z = XY的概率分布如下：120171( )88zzZP Z X Yx1=0 x2=1y1=01/83/8y2=13/81/82227711( )()loglog0.544 /8888kkH Zp zbit symbol (1)

7、H(Z)信息论第章习题答案121 11 22 1222222()()0.5()0.5()03()81()8()()log()113311( logloglog)1.406 /228888ikikikp xp xp x zp x zp x zp x zH XZp x zp x zbit symbol X Yx1=0 x2=1y1=01/83/8y2=13/81/8(1) H(XZ), H(YZ)12017188zz信息论第章习题答案11 212221 222211 112 121 122 1()0, ()01()0, ()83()1/8, ()83(), ()08p x y zp x y zp

8、x y zp x y zp x y zp x y zp x y zp x y z X Yx1=0 x2=1y1=01/83/8y2=13/81/8（1）H(XYZ)；12017188zz22222()()log()11333311loglogloglog1.811 88888888ijkijkijkH XYZp x y zp x y zbit 信息论第章习题答案(/)()( )1.811 10.811 (/)()()1.811 10.811 (/)()( )1.4060.5440.862 (/)()()1.406 10.406 (/)()( )1.4060.5440.862 (/)()H X

9、YH XYH YbitH Y XH XYH XbitH X ZH XZH ZbitH Z XH XZH XbitH Y ZH YZH ZbitH Z YH YZ ( )1.406 10.406 (/)()()1.811 1.4060.405 (/)()()1.811 1.4060.405 (/)()()1.811 1.8110 H YbitH X YZH XYZH YZbitH Y XZH XYZH XZbitH Z XYH XYZH XYbit X Yx1=0 x2=1y1=01/83/8y2=13/81/8(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z)

10、, H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；22222()()log()11333311loglogloglog1.811 88888888ijijijH XYp x yp x ybit XYZ信息论第章习题答案(; )()(/)10.8110.189 (; )()(/)10.8620.138 ( ; )( )(/)10.8620.138 (;)(/)(/)0.8620.4050.457 ( ;)(/)(/)0.8620.4050.457 I X YH XH X YbitI X ZH XH X ZbitI Y ZH YH Y ZbitI X Y ZH X ZH X Y

11、ZbitI Y Z XH Y XH Y XZbi (;)(/)(/)0.8110.4050.406 tI X Z YH X YH X YZbit(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。XYZ信息论第章习题答案求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。求在给定x0条件下，各消息与y1之间的条件互信息量。求在给定x0y1条件下，消息u3与z1之间的条件互信息量。求消息u3与代码组之间的互信息量。信息01234567三位二进制代码组000001010011100101110111x0y0z0 x

12、0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16习题2.26：已知信源U包含8个数字消息0,1,2,3,4,5,6,7。为了在二进制信道上传输，用信源编码器把这8个十进制数编成三位二进制代码组，信源各消息（符号）的先验概率及相应的代码组如下：信息论第章习题答案() (/)ijip xp yx信息01234567代码组000001010011100101110111x0y0z0 x0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41

13、/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。(/)( ;)log()ijijip xyI x yp x1()()ijnijip x yp x y000000() (/)1/4(/)1/3() (/)1/41/41/81/8iiip up xup uxp u p xu00000(/)1/3(;)loglog0.415()()1/4p uxI u xbitp u信息论第章习题答案() (/)ijip xp yx信息01234567代码组000001010011100101110111x0y0z0 x0y0z1x0y1z0 x

14、0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。(/)( ;)log()ijijip xyI x yp x1()()ijnijip x yp x y303300() (/)1/8(/)1/6( ) (/)3/4iiip up xup uxp u p xu30303(/)1/64(;)logloglog0.415()()1/83p uxI u xbitp u信息论第章习题答案信息01234567代码组000001010011100101110

15、111x0y0z0 x0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16求互信息量I(ui;x0),I(u3;x0y1),I(u3;x0y1z1)。3013013(/)1/2(;)logloglog42()()1/8p ux yI u x ybitp u301330101() (/)1/8(/)1/2( ) (/)1/81/8iiip up x yup ux yp u p x yu301 1301 13(/)1(;)logloglog83()()1/8p ux y zI u x y zbit

16、p u301 13301 101 1() (/)1/8(/)1( ) (/)1/8iiip up x y zup ux y zp u p x y zu信息论第章习题答案信息01234567代码组000001010011100101110111x0y0z0 x0y0z1x0y1z0 x0y1z1x1y0z0 x1y0z1x1y1z0 x1y1z1P(ui)1/41/41/81/81/161/161/161/16P(ui|x0)1/31/31/61/60000P(ui|x0y1)001/21/20000P(ui|x0y1z1)0001000001100(/)( ;/)log(/)iiip ux yI u yxp ux求在给定x0条件下，各消息与y1之间的条件互信息量。求在给定x0y1条件下，消息u3与z1之间的条件互信息量。301 13101301(/)1(;/)loglog1(/)1/2p ux y zI u zx ybitp ux y信息论第章习题答