《信息论》试题及答案

1、本文格式为word版，下载可任意编辑信息论试题及答案 期终练习 一、某地区得人群中,1就是胖子,80不胖不瘦,就是瘦子。已知胖子得高血压得概率就是 15，不胖不瘦者得高血压得概率就是 10,瘦子得高血压得概率就是 5，则"该地区得某一位高血压者就是胖子这句话包含了多少信息量。 解：设大事 a:某人就是胖子; b：某人就是不胖不瘦 c:某人就是瘦子 d：某人就是高血压者 依据题意,可知：（）=、1 p（b)=0、8 （c）=0、1 p(da)=、15 p(db)0、1 p(d|)=0、05 而"该地区得某一位高血压者就是胖子 这一消息表明在 d 大事发生得条件下,a 大事得发

2、生,故其概率为 p（ad) 依据贝叶斯定律，可得： p（d）=（） p（a）p（b) p（d|b)（c）* （dc)=0、1 (d)p（d）/p(d)(d|）*（a)/ p(d)0、15、1/0、1、15 故得知"该地区得某一位高血压者就是胖子这一消息获得得多少信息量为： i（ad） = - ogp(a）log(0、15)2、3 (bi) 二、设有一个马尔可夫信源,它得状态集为 ， ，s ,符号集为a 1 ,a 2 ,a 3 ，以及在某状态下发出符号集得概率就是(i,k=,2，3），如图所示 （1）求图中马尔可夫信源得状态极限概率并找出符号得极限概率 （2）计算信源处在某一状态下输出

3、符号得条件熵 h（xs=j） (j=s 1 ，s 2 ，s ） (3)求出马尔可夫信源熵 解:（1)该信源达到平稳后，有以下关系成立: 可得 (） （）31( ) ( | ) 2/7*3/2 3/7*1 2/7*0 6/7i iih q e h x e¥= ´ = + + =å(比特/符号） 三、二元对称信道得传递矩阵为 （1）若 p（0）3/4,p（1）=1/，求(x)，h（x）与 i(x；) （)求该信道得信道容量及其最大信道容量对应得最佳输入分布 解:=、811（比特/符号） =、7*0、6+0、50、4=、5 0、50、4+0、50、=0、45 、2(比特

4、符号) 1 2 2( | ) ( ) ( | ) ( ) ( | ) 0.75 (0.6,0.4) 0.25 (0.4,0.6)(0.6log0.6 0.4log0.4)0.971 /h y x p x h y x p x h y x h h = + = ´ + ´= - +» （比特 符号） 0、81+、9710、992=0、79 (比特/符号） 0、110、9=、01（比特/符号) (2）此信道为二元对称信道，所以信道容量为 c=(p)=1h（、）=-0、97=、029（比特/符号) 当输入等概分布时达到信道容量 四、求信道得信道容量,其中. 解:这就是一个准

5、对称信道，可把信道矩阵分为：， ， 故21log ( 2 , 2 ,0,4 ) loglog2 ( 2 , 2 ,0,4 ) (1 4 )log(1 4 ) 4 log41 ( 2 , 2 ,4 ) (1 4 )log(1 4 ) 4 log4 ( /k kkc r h p p n mh p ph p pe e ee e e e e e ee e e e e e e= - - - -= - - - - - - -= - - - - - - -å比特 符号） 当输入等概分布时达到信道容量。 1 五、信源 (1）利用霍夫曼码编成二元变长得惟一可译码，并求其 (2）利用费诺码编成二元变长得

6、惟一可译码,并求其 (3）利用香农码编成二元变长得惟一可译码,并求其 （）香农编码: 信源符号 概率 p(x i ） 码长 l 累积概率 p 码字 x 1 0、4 2 0 x 2 、 3 0、4 01 x 3 0、2 3 0、6 10 4 、1 0、8 110 0、05 5 、9 11100 0、5 5 0、95 11110 =0、42、3+0、23、14、05+0、055、9（码元/信源符号） h（x)/（ o）=2、222、=、7662(2)霍夫曼编码： =0、4+0、222+0、13+0、42=2、3(码元/信源符号) h(x）/（ logr）=、9964 (3）费诺编码: =、42+0

7、、2+0、1+0、422、（码元/信源符号) =（)( logr)= 0、9964 六、设有一离散信道，传递矩阵为 设 p(x 1 ）= p(x ）14，p(x 3 ）=1/2,试分别按最小错误概率准则与最大似然译码准则确定译码规章,并相应得计算机平均错误概率得大小. 解:（1）按最大似然译码准则 f（y)x1 （y）=x2 f（y3）=x3 p（e)=12（/3+1/6）1/42(1/316)1/2 (2) 联合概率矩阵为,则按最小错误概率准 f（y)=x f(y2）=x2 f(y3）=x3 p（e）= 1/8+1/24+2 +1241/2=11/2 八、一个三元对称信源 接收符号为 v0,，2,其失真矩阵为 （)求 max 与 d min 及信源得 r（d）函数。 （2）求出达到得正向试验信道得传递概率 解：(） 由于就是三元对称信源，又就是等概分布，所以依据 r 元离散对称信源可得 r(d）log3dlo2h（d)=log3dh（） 0=d=2/ 0 23 (2)满意 r（d）函数得信道其反向传递概率为 依据依据贝叶斯定律,可得该信道得正向传递概率为: 九、设二元码为 c=110,0101，101,0011 (1）求此码得最小距离； （2）采纳最小距离译码准则，试问接收序列0000,1100 与 0010应译成什么码字