信息论与编码理论习题答案

1、.第二章信息量和熵2.2 八元编码系统，码长为 3，第一个符号用于同步，每秒 1000 个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为2log 8 =23=6 bit因此，信息速率为61000=6000 bit/s2.3掷一对无偏骰子， 告诉你得到的总的点数为： (a) 7; (b) 12。问各得到多少信息量。解： (1) 可能的组合为1 ， 6,2 ， 5,3 ，4,4 ，3,5 ，2,6 ， 161p(a) = =636得到的信息量1= log 6 =2.585 bit= logp( a)(2) 可能的唯一，为 6 ，6p(b) = 1361= log 36

2、=5.17 bit得到的信息量 = logp(b)2.4经过充分洗牌后的一副扑克（52 张），问：(a) 任何一种特定的排列所给出的信息量是多少？(b) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？1解： (a)p(a) =1信息量 = log= log 52! =225.58 bitp( a)13!13种点数任意排列(b)413花色任选p(b) = 13! 413= 413a5213c5213信息量 = log c5213log 413 =13.208 bit.2.9随机掷 3 颗骰子， x 表示第一颗骰子的结果，y 表示第一和第二颗骰子的点数之和，z 表示3 颗骰子的点数

3、之和，试求h (z | y ) 、 h ( x | y ) 、h ( z | x ,y) 、 h ( x , z | y ) 、 h ( z | x ) 。解：令第一第二第三颗骰子的结果分别为x1 , x2 , x3 ， x1 ， x2 ， x3 相互独立，则 xx1 ， yx1x2 ， zx1x2x3h ( z | y) = h (x3 ) = log 6=2.585 bith ( z | x ) = h ( x2 x3 ) = h (y)=2 ( 1log 36+ 2 log 18+ 3 log 12+ 4 log 9+ 5log 36 )+ 6 log 63636363636536=3.

4、2744 bith ( x | y) = h ( x ) - i (x ; y) = h ( x ) - h (y) - h (y | x ) 而 h (y | x ) = h ( x ) ，所以 h ( x |y ) = 2 h ( x ) - h (y ) =1.8955 bit或 h ( x | y) = h ( xy ) - h (y ) = h ( x ) + h (y | x ) - h (y)而 h (y | x ) = h ( x ) ，所以 h ( x | y ) =2 h ( x ) - h (y) =1.8955 bith (z | x ,y) = h ( z | y)

5、= h ( x ) =2.585 bith ( x , z |y) = h ( x |y ) + h ( z | xy ) =1.8955+2.585=4.4805 bit2.10设一个系统传送 10 个数字， 0，1， ，9。奇数在传送过程中以 0.5 的概率错成另外一个奇数， 其余正确接收， 求收到一个数字平均得到的信息量。解：xyi1,3,5,7,9信道i0,2,4,6,8i ( x ;y ) = h (y) - h (y | x )因为输入等概，由信道条件可知，.p( yi i为奇数 )110p( yi i为偶数 )1( 11111)1102888810即输出等概，则 h (y ) =

6、 log 10h (y | x ) =p( xi y j) log p( y j| xi)ij=p( xiy j ) log p( y j| xi ) -p(xi y j ) log p( y j | xi )ji偶j i 奇=0-p(xiy j ) log p( y j| xi )ji 奇= -p(xi ) p( yi | xi) log p( yi | xi ) -p( xi ) p( y j | xi ) log p( y j | xi )i 1,3,5 ,7，9ij i1，3，5，7，91111145=log 25+2log 81021041 3= =1 bit44i ( x ; y)

7、 = h (y) - h (y | x ) = log 10 -1=log 5=2.3219 bit2.11 令 u1, u 2 ,， u8 为一等概消息集，各消息相应被编成下述二元码字u1=0000， u2 =0011， u3 =0101， u4 =0110，u5 =1001， u6 =1010， u7 =1100， u8 =1111通过转移概率为p 的 bsc 传送。求：(a)接收到的第一个数字0 与 u1之间的互信息量。(b)接收到的前二个数字00 与 u1 之间的互信息量。(c)接收到的前三个数字000 与 u1之间的互信息量。(d)接收到的前四个数字0000 与 u1之间的互信息量。

8、解：.即 i (u1 ;0) ， i (u1 ;00) ， i (u1 ;000) ， i (u1 ;0000)p(0) = 1 (1 p)4 + 1 p 4 = 1882p(0 | u1 )= log1p=1+ log(1p) biti (u1;0) = log1p(0)2p(00) =1 2(1p) 24(1p) p2 p2 =184i (u1;00) =log p( 00 | u1 ) = log (1p) 2= 21log(1 p) bitp(00)1/ 4p(000) = 1 (1p) 33(1p) 2 p3(1p) p2p3 = 188i (u1;000) =31+ log(1p)

9、 bitp(0000 ) = 1(1p)46(1p) 2 p 2p 4 8i (u1;0000) = log8(1p) 4bit(1 p)46(1p)2p2p42.12计算习题 2.9 中 i (y; z ) 、 i ( x ; z ) 、 i (x , y; z ) 、 i (y; z | x ) 、 i ( x ; z |y ) 。解：根据题2.9 分析h (z ) =2(1log 216+ 3 log 216 + 6 log 216 + 10 log 216 +216216321662161015216+212162521627216loglog+log+log)216152162121

10、62521627=3.5993 biti (y; z ) = h ( z) - h (z | y) = h (z ) - h ( x ) =1.0143 biti ( x ; z ) = h ( z ) - h ( z | x ) = h ( z ) - h (y) =0.3249 biti ( x ,y; z ) = h (z ) - h (z | xy ) = h ( z ) - h ( x ) =1.0143 bit.i (y; z | x ) = h ( z | x ) - h (z | xy ) = h (y) - h ( x ) =0.6894 biti ( x ; z |y )

11、= h ( z |y) - h (z | xy ) = h ( x ) - h ( x ) =0 bit2.14对于任意概率事件集x,y,z，证明下述关系式成立(a) h (y, z | x )h (y | x ) + h (z | x ) ，给出等号成立的条件(b) h (y, z | x ) = h (y | x ) + h (z | x , y)(c) h ( z | x ,y)h ( z | x )证明： (b)h (y, z | x ) =-p(xyz) log p( yz | x)xyz=-p(xyz) log p( y | x) p( z | xy)xyz=-p( xyz) lo

12、g p( y | x) -p( xyz) log p( z | xy)xyzxyz= h (y | x ) + h ( z | xy )(c)h (z | x ,y) =-p(xyz) log p( z | xy)xyz=p( xy) -p(z | xy) log p( z | xy) xyzp( xy) -p( z | x) log p( z | x) xyz=-p( xyz) log p(z | x)xyz= h ( z | x )当 p(z | xy) = p( z | x) ，即 x 给定条件下， y 与 z 相互独立时等号成立(a) 上式 (c)左右两边加上 h (y | x ) ，可得h (y | x ) + h (z | x ,y )h (y | x ) + h ( z | x )于是 h (y, z | x )h (y | x ) + h (z | x )1,12.28 令概率空间 x1, 1，令 y 是连续随机变量。已知条件概