信息论试题及答案骄阳教育

1、期终练习一、某地区的人群中，10是胖子，80不胖不瘦，10是瘦子。已知胖子得高血压的概率是15，不胖不瘦者得高血压的概率是10，瘦子得高血压的概率是5，则“该地区的某一位高血压者是胖子”这句话包含了多少信息量。解：设事件a：某人是胖子； b：某人是不胖不瘦 c：某人是瘦子 d：某人是高血压者根据题意，可知：p（a）=0.1 p（b）=0.8 p（c）=0.1p（d|a）=0.15 p（d|b）=0.1 p（d|c）=0.05 而“该地区的某一位高血压者是胖子” 这一消息表明在d事件发生的条件下，a事件的发生，故其概率为p（a|d）根据贝叶斯定律，可得：p（d）p（a）* p（d|a）p（b）*

2、 p（d|b）p（c）* p（d|c）0.1 p（a|d）p（ad）/p（d）p（d|a）*p（a）/ p（d）0.15*0.1/0.10.15 故得知“该地区的某一位高血压者是胖子”这一消息获得的多少信息量为：i（a|d） = - logp（a|d）=log（0.15）2.73 （bit） 二、设有一个马尔可夫信源，它的状态集为s1，s2，s3，符号集为a1，a2，a3，以及在某状态下发出符号集的概率是（i，k=1，2，3），如图所示（1）求图中马尔可夫信源的状态极限概率并找出符号的极限概率（2）计算信源处在某一状态下输出符号的条件熵h(x|s=j) (j=s1，s2，s3)（3）求出马尔可

3、夫信源熵解：（1）该信源达到平稳后，有以下关系成立： 可得 （2） （3）（比特/符号）三、二元对称信道的传递矩阵为（1）若p(0)=3/4，p(1)=1/4，求h（x），h（x|y）和i（x；y）（2）求该信道的信道容量及其最大信道容量对应的最佳输入分布解：=0.811(比特/符号)=0.75*0.6+0.25*0.4=0.550.75*0.4+0.25*0.6=0.450.992(比特/符号)0.811+0.971-0.992=0.79 (比特/符号) =0.811-0.79=0.021(比特/符号) （2）此信道为二元对称信道，所以信道容量为 c=1-h(p)=1-h(0.6)=1-0.

4、971=0.029(比特/符号) 当输入等概分布时达到信道容量四、求信道的信道容量，其中。解：这是一个准对称信道，可把信道矩阵分为：， 故 当输入等概分布时达到信道容量。 1 五、信源（1）利用霍夫曼码编成二元变长的惟一可译码，并求其（2）利用费诺码编成二元变长的惟一可译码，并求其（3）利用香农码编成二元变长的惟一可译码，并求其(1)香农编码：信源符号概率p(xi)码长li累积概率p码字x10.42000x20.230.4011x30.230.6100x40.140.81100x50.0550.911100x60.0550.9511110=0.4×20.2×30.2

5、5;30.1×40.05×50.05×52.9(码元/信源符号)h(x)/( logr)=2.222/2.9=0.7662（2）霍夫曼编码：=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)h(x)/( logr)=0.9964(3)费诺编码：=0.4×2+0.2×2×2+0.1×3+0.05×4×2=2.3(码元/信源符号)h(x)/( logr)= 0.9964六、设有一离散信道，传递矩阵为设p(x1)= p

6、(x2)=1/4，p(x3)=1/2，试分别按最小错误概率准则和最大似然译码准则确定译码规则，并相应的计算机平均错误概率的大小。解：（1）按最大似然译码准则 f(y1)=x1 f(y2)=x2 f(y3)=x3 p(e)=1/2(1/3+1/6)+1/4×2×(1/3+1/6)=1/2(2) 联合概率矩阵为，则按最小错误概率准 f(y1)=x3 f(y2)=x2 f(y3)=x3 p(e)= 1/8+1/24+2/12 +1/24+1/12=11/24八、一个三元对称信源接收符号为v0，1，2，其失真矩阵为（1）求dmax和dmin及信源的r(d)函数。（2）求出达到的正向试验信道的传递概率解：（1）因为是三元对称信源，又是等概分布，所以根据r元离散对称信源可得r（d）log3dlog2h（d）log3dh（d） 0<=d<=2/3 0 d>2/3 （2）满足r（d）函数的信道其反向传递概率为根据根据贝叶斯定律，可得该信道的正向传递概率为：九、设二元码为c=11100，01001，10010，00111（1）求此码的最小距离；（2）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字？（3）此码能