信息论试题及答案

1、期终练习一、某地区的人群中， 10是胖子， 80不胖不瘦， 10是瘦子。已知胖子得高血压的概率 是 15，不胖不瘦者得高血压的概率是10，瘦子得高血压的概率是 5 ，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解：设事件 A：某人是胖子； B ：某人是不胖不瘦 C ：某人是瘦子D ：某人是高血压者根据题意，可知： P（ A）= P （B）= P （C）=P（D|A）= P （D|B） = P （D|C）=而“该地区的某一位高血压者是胖子” 这一消息表明在 D事件发生的条件下， A 事件 的发生，故其概率为 P（ A|D）根据贝叶斯定律，可得：P（D）P（A）* P （ D|A）

2、P（B）* P （D|B）P（C）* P （D|C）P（A|D）P（AD）/P（D） P（D|A）*P（A）/ P （D）* 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为： I（A|D） = - logP （A|D）=log （） （bit ） 二、设有一个马尔可夫信源，它的状态集为S1，S2，S3，符号集为 a1，a2，a3 ，以及在某状态下发出符号集的概率是 p（ak |si）（i ，k=1，2，3），如图所示1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率2）计算信源处在某一状态下输出符号的条件熵H（X|S=j） （j=s1， s2， s3）3）求出马尔可夫信

3、源熵 HQ( E1) Q(E3)Q(E2)3Q(E1)1Q(E2)4211Q(E3)Q(E1)4Q(E2)2Q(E1)Q(E2)Q(E3 ) 1解：（ 1）该信源达到平稳后，有以下关系成立：2Q(E1) 73可得 Q(E2 ) 327p(a1)Q(Ei ) p(a1 |Ei ) i1p(a2)3Q(Ei ) p(a2 |Ei) i1p(a3)3Q(Ei)p(a3 |Ei)3i1372737Q(E3) 72H(X |S1)2) H (X |S2)H(X |S3)3p(ak |S1) log p(ak |S1) 1.(5 bit/符号) k13p(ak |S2) log p(ak|S2) (1 b

4、it/符号) k13p(ak |S3) log p(ak|S3) (0 bit/符号) k133) HQ(Ei) H(X |Ei) 2/ 7*3/ 2 3/ 7*1 2/7*0 6 / 7 (比特/符号)i1三、二元对称信道的传递矩阵为0.6 0.40.4 0.61）若 P（0）=3/4 ，P（1）=1/4 ，求 H（X）， H（ X|Y）和 I （X；Y）2）求该信道的信道容量及其最大信道容量对应的最佳输入分布2解： H （X ）=p( xi )logi1p(xi)= 0.75log 75 0.25log 25 (比特/符号)p( y1)p(x1)p(y1| x1)p(x2)p(y1 |x2

5、)=*+*=p(y2)p(x1)p(y2 |x1)p(x2)p(y2 |x2) *+*=H (Y)0.55log0.550.45log0.45 (比特/ 符号)H(Y|X)p(x)H(Y|x1)p(x2)H(Y| x2) 0.75 H (0.6,0.4) 0.25 H (0.4,0.6)(0.6log 0.6 0.4log 0.4)0.97(1 比特 / 符号)H(X |Y) H(XY) H (Y) H(X) H (Y|X) H(Y)+ ( 比特 / 符号 )I(X;Y)=H(X)-H(X|Y) =比特/符号 ) (2)此信道为二元对称信道，所以信道容量为C=1-H(p)=1-H=( 比特 /

6、 符号 ) 当输入等概分布时达到信道容量四、求信道p2p2的信道容量，其中p。解：N1p2p2这是一个准对称信道，M 1 1 4 ， N2可把信道矩阵分为：4 ,M 2 4C logr H(p 2 ,p 2 ,0,4 )Nk logMkk10440故 log2 H(p 2 ,p 2 ,0,4) (1 4 )log(11 H(p 2 ,p 2 ,4 ) (14 )log(14)log4log4(比特 /符号)当输入等概分布时达到信道容量。X x1 x2 x3五、信源 1 2 3P(x) 0.4x4x5x61)利用霍夫曼码编成二元变长的惟一可译码，并求其2)利用费诺码编成二元变长的惟一可译码，并求

7、其L3)利用香农码编成二元变长的惟一可译码，并求其信源符号概率 P(x i)码长 l i累积概率 P码字x12000x23011x33100(1) 香农编码：x441100x5511100x6511110L= 2 3 3 4 5 5 ( 码元 / 信源符号 ) H(X)/( L logr)= ( 2)霍夫曼编码：L=2+22+3+42=(码元 /信源符号 ) H(X)/( L logr)=(3) 费诺编码：L=2+22+3+42=(码元 /信源符号 ) H(X)/( L logr)=111236六、设有一离散信道，传递矩阵为111623111362设 P(x 1)= P(x 2)=1/4 ，P

8、(x 3)=1/2 ，试分别按最小错误概率准则和最大似然译码准则确定译码 规则，并相应的计算机平均错误概率的大小。解：(1)按最大似然译码准则F(y1)=x1 F(y2)=x2 F(y3)=x3P(E)=1/2(1/3+1/6)+1/42(1/3+1/6)=1/2(2) 联合概率矩阵为，则按最小错误概率准11181224111 F(y1)=x3248121116124F(y2)=x2F(y3)=x3U0,1,2P(u)111333+1/24+1/12=11/24八、一个三元对称信源P(E)=1/8+1/24+2/12接收符号为 V0 ， 1，0 1 12 ，其失真矩阵为 1 0 11101)

9、求 Dmax和 Dmin 及信源的 R(D)函数。2) 求出达到 R(D) 的正向试验信道的传递概率1解：(1) DmaxmVin U P(u)d(u,v) 1 r13Dmin P( u) mjin d(u,v) 0 i1因为是三元对称信源，又是等概分布，所以根据r 元离散对称信源可得R( D) log3 Dlog2 H(D) log3 DH(D) 0=D2/32)满足 R( D)函数的信道其反向传递概率为1 D (i j) P(ui |vj) D2 (i j)1以及有 P(vj )= 1j3根据根据贝叶斯定律，可得该信道的正向传递概率为：1 D (i j)P(vj |ui )D2 (i j)九、设二元码为 C=11100， 01001，10010，001111)求此码的最小距离 dmin ；2)采用最小距离译码准则，试问接收序列3) 此码能纠正几位码元的错误10000， 01100 和 00100 应译成什么码字11100010