信息论 傅祖芸课后题解答

1、习题讲解 2.4 解：x：女孩是大学生 y：女孩身高1.6m以上 P(x)=0.25 P(y)=0.5 P(y/x)=0.75 第二章习题 22 ()( )(/)0.250.75 (/)0.375 ( )( )0.5 1 (/)log(/)log1.415() 0.375 1.415 p xyp x p y x p xy p yp y I xyp xybit bit ? ? ? ? ? 获得的信息量是 第二章习题 2.6 1 3 ()loglog0.3751.396 8 I a ? ? ? 2 1 ()log2 4 I a? ? 3 1 ()log2 4 I a? ? 2 1 ()log3 8

2、 I a? ? (1) ? 1234 14 ( )13 () 12 ()6 ()87.544II aI aI aI abit?消息 (2) 87.544 1.945 45 ? 第二章习题 123456 2 6 2 1 222 22 , ()0.20.190.180.170.160.17 ()log6 ()() log() 0.2 log 0.20.19 log0.190.18log0.18 2(0.17 log0.17)0.16 log0.16 2.66(/ ii i Xxxxxxx P X H X H Xp xp x bitsymb ? ? ? ? ? ? ? ? ? ? ? ? ? ? 设

3、信源求这信 源的熵，并解释为什么不满足信源熵的极值性。 解： 2 6 1 ) log62.58 ()0.20.190.180.170.160.171.071 i i ol p x ? ? ? ? ? 概率空间不满足归一化 不满足最大离散熵定理 2.9 第二章习题 2.13 (1)每个象素亮度所含的信息量为： ()log103.32H X ? 每帧图像所含的信息量为： 56 ()()5*10 log101.66*10 N H XNH X? 每秒钟的信息率为： 7 1 30()4.98*10 N RH X? 第二章习题 2.13 (2)每个象素色度所含的信息量为： ( )log304.91H Y

4、? 亮度和色度彼此独立 ()()( )log10log308.23 ()log300 2.5 ()log10 H XYH XH Y H XY H X ? ? 第二章习题 2.18 (1)是平稳的 (2) 2 ()2()20.971.94H XH X? ()(0.4)(0.4log0.40.6log0.6)0.97H XH? ? 3123 (/)()()0.97H XX XH XH X? lim()()0.97 N N HXH X ? ? (3) 2 ()2()40.973.88H XH X? 0000,0001,0010,0011,0100,0101,0110,0111 1000,1001,1

5、010,1011,1100,1101,1110,1111 第二章习题 2.22 (1) (0)(0)(1)(2) 22 (1)(1)(0)(2) 22 (2)(2)(1)(0) 22 pp PpPPP pp PpPPP pp PpPPP ? ? ? ? ? ? ? ? ? ? ? ? ()() ii Q EP a? 1 (0)(1)(2) 3 PPP? 解得： 第二章习题 2.22 (2) 3 2 1 ()(/) (0)(/0)(1)(/1)(2)(/2) 1 3*( ,)(log2*log) 32222 loglog 2 ii i HHQ E H X E PH XPH XPH X p ppp

6、 H ppp p ppp ? ? ? ? ? ? ? ? ? （3）：()log31.585 H X ? 第二章习题 2.22 (4) loglog(1)log(1)log 2 p Hpppppppp ? ? ? 求导数得： (1)log(1)log 11 log(1)log1 ln 2ln 2 2(1) log H ppppp p pp p p ? ? ? ? ? ? ? ? 2(1)2(1)2 log01 3 pp p pp ? ? 第二章习题 2.22 (4) 2(1)2(1)2 log01 3 pp p pp ? ? loglog 2 1.585 p Hppp ? ? ? ? logl

7、og0 2 p Hppp ? ? ? 当p0： loglog1 2 p Hppp ? ? ? 当p1： 第二章习题 2.24 图应改为： 1 s 2 s 3 s 1 1 : 2 a 2 1 : 4 a 2 1 : 2 a 3 1 : 2 a 3 1 : 4 a 1 :1 a （1） 113 212 313 123 ( )0.5 ( )() ()0.25 ( )0.5 () ()0.25 ( )0.5 () ( )()()1 Q sQ sQ s Q sQ sQ s Q sQ sQ s Q sQ sQ s ? ? ? ? ? ? ? ? ? ? 得： 1 ( )0.5Q s? 2 ()0.25Q

8、s? 3 ()0.25Q s? 第二章习题 （2）1 (/)(0.5log 0.50.25log 0.250.25log 0.25)1.5H X Ss? ? 2 (/)(0.5log 0.50.5log 0.5)1H X Ss? ? 3 (/)1log10H X Ss? ? （3） 21123 (/)0.5(/)0.25(/)0.25(/)HH XXH X SsH X SsH X Ss ? ? 1? 2.25 解法与上题类似。 第三章 3.1 1 ()log0.60.737I x ? ? 2 ()log0.41.322I x? ? (1) 1111212 ()() (/)() (/)0.8p

9、yp x p yxp xp yx? (2) 11 11 1 (/) (/)log0.059 () p yx I xy p y ? 2 ()0.2p y? 12 (/)0.093I xy? ? 21 (/)0.263I xy ? ? 22 (/)0.322I xy? 第三章 (3) ()(0.4)0.971H XH? 1 53 ()0.60.40.8 64 P y ? ( )(0.8)0.722H YH? (4) (/ )0.963H X Y ? (/)0.714H Y X ? (5) (; )0.008I X Y ? 第三章 3.3 (1) 1 ()( )0.811 4 H XH? 1 321

10、17 () 434312 P y ? 1 231 ( /)loglog30.915 323 H Y x ? 2 231 ( /)loglog30.915 323 H Y x? 1122 ( /)()( /)()( /)0.915H Y XP x H Y xP x H Y x? 7 ( )()0.981 12 H YH? (; )( )(/)0.066I X YH YH Y X? (/)()(; )0.745H X YH XI X Y? (2) 2 1( )0.085 3 CH? ? 第三章 3.9 (1)1(0.98)0.8586 CH? ? 10秒钟能传的最大信息量 10*1500*1288

11、0Cbit? 不能传输 第三章 3.11 (1)可分为： pp pp ? ? ? ? ? ? 2 2 ? ? ? ? ? 1(,2 ) (1 2 )log(12 )2 log4 CH pp? ? (2)可分为： pp pp ? ? ? ? ? ? 20 02 ? ? ? ? ? 1(,2 ) (1 2 )log(12 )2 log2 CH pp? ? 信道2的信道容量大于信道1的信道容量 第三章 3.16 log4( )2( )CH pH p? 第四章 4.1 (1) 341 ( )loglog40.811 434 H S ? 2 22222 1 3311 ( )(log) ( )(log)l

12、og( )(0.811)0.4715 4444 iii i D I sppH S ? ? ? 根据书中4.21式 2 0 ( ) 0.01 i D I s N? ? 0.05? 可得： 0 2 0.4715 18860 0.010.05 N ? ? (2): ( )18860*0.81115295 | 222 NH S N G ? ? 第四章 4.3 (1) A、B、C、E是唯一可译码 (2) A、C、E即时码 4.17 不能直接相连 ( )(0.8)0.722H SH? 2.66 0.7221.92? 信源每秒发出1.92的信息量，而信道每秒可以发出2 的信息量，因此可以通过编码进行传输。

13、第四章 4.18 (1) 须3秒钟传输 (2) 2 (1) 5 P? 17 (2) 100 P? (3) 信源符号间具有相关性，极限熵还可以更低 第五章 5.1 (1)最小错误概率准则，求联合概率矩阵 111 4612 111 24812 111 12248 P ? ? ? ? ? ? ? ? ? ? 11 21 33 () () () F yx F yx F yx ? ? ? ? ? ? ? 译码函数为： 11111111 2412824121224 E P ? 第五章 5.3 （1）最小距离为3 （2） log42 55 R? (1000) 10010, (01100)11100, (00100)FFF?不确定 （4）能纠正一位错误 （3） 5.15 (1)最小汉明距离准则 （2） （3） 76 5 E Pp