信息论试卷及解答

1、1北京邮电大学信息工程学院北京邮电大学03级信息理论期中考试试题(2005年11月)姓名和班级学生人数分数注：试卷和答题卡必须一起交：1。(24分)在一个城市里，雨天和晴天各占一半，天气预报在雨天和晴天都有2/3的准确率。甲老师每天去上班，处理带伞的问题：如果天气预报说要下雨，他会带伞去上班；如果没有下雨的预报，他也有三分之一的时间带着雨伞去上班。(1)找出“甲老师下雨天没带伞”事件中包含的信息量；(5分)(2)寻求“甲师天下雨”的信息量；(5分)(3)找出通过天气预报获得的关于天气状况的信息量；(6分)(4)通过观察甲老师是否带着雨伞，找出关于天气的信息量。(8分)解决方案：设置天气条件集：

2、x，符号集：0(有雨)，1(无雨)，设置天气预报集：y，符号集：0(有雨)，1(无雨)，设置伞条件集：z，符号集：0(有伞)，1(无伞)。根据问题的含义，xy的条件概率矩阵是2/31/3 1/32/3，yz的条件概率矩阵是101/32/3。xz的条件概率矩阵是2/31/3101/32/31/32/37/92/95/94/9=(1)(1/0)2/9pzx=，因此， “a老师下雨天没带伞”事件中包含的信息是：2 2(1/0)log 9i zx=2.170 bit(2)(1)(0/1)(1/0)(0)p xpzx p xz p z=2(1 p xp zx p xp zx=0.55/9 5/120.5

3、7/90.55/9=因此， “教师带下无雨”事件的信息量为：25(1/0)log 12 ixz=1.263 bit(3)2/31/3(0)(1)1/21/21/21/32/3 p yp y=因此，通过天气预报获得的有关天气的信息量：(； )()(/)i x yh yh yx=(1/2)(1/3)hh=1-0.918=0.082位/消息符号(4) 7/92/9 (0) (1) 1/21/22/31/3 5/。)()(/)(1/3)0.5(7/9)(5/9)i x zhzh z x hhh=0.9180.5(0.7640.991)=0.041=位/消息符号2，(17个点)集()0.1p c=，1

4、(| )(| )(| ) 3 p a ap b ap c a=，1 (|)(|)3 p a bp b b bp c b=，1(|)(1)写出信息源的状态转移概率矩阵；(3点)(2)绘制状态转移图；(4点)(3)找到信息源的稳态分布；(5点)(4)计算稳定源的熵h。(5分)3个答案：(1)111 333 111 333 110 22 p=(2)(3)123123 123 111 333 111、333 110 22 13 8 14=(4)31111111(，)0) 8333422 1.439/hhh比特=符号3，(22分钟)级联两个z通道，如图1所示，其中x是输入(1)找到级联信道的转移概率矩阵

5、；(3点)4 (2)如果符号集a的x=1，0，其中0，1几乎相等，计算平均互信息)；(zxi(6分)(3)当收到=z“1”时，找出发送=x“1”的信息量；(5分)(4)当收到=21z z“11”时，找出有关发送=21x x“11”的信息量。(8分)图1回答：(1)让=1，然后=22 1 010 101 p (2) 2 1) 1(，2 1)0(=ypyp；2 ) 1(，2 1)0(22=zpzp；因此，()(2 1)2()/()；(22hhxzhzxi=(3)121 log)1(1 1(log=zp x z p位/消息符号；(4)图中通道的二次扩展通道的转移概率矩阵为：()()()=422222

6、2221110010010001 111001000 p因此，241 log)11(1111(log=zp x z p比特/消息符号4，(15分钟)连接两个z通道，如图1所示，如图2所示。当通道输入为x时，两个通道的相应输出分别为。21，y，y，其中x是二进制独立等概率源，求：1001115(1)(21y xyh；(6分)(2分)；(21y yxi .(9分)图2答案：()()()(2121xypxpyxyp=，有：21y(21y xyp 00 01 10 11 02 1 000 x 1 2 2 2 2 2 2 2 p 21y(00)=2 p 21y(01)=2 p 21y(10)=2 p 2

7、1y(11)=2 2(2 log log log log 2 log)(22 log)1 log(2 1 2 log)(2 2 2 21=2)(22 212 121=yxyyhxhyyxi，其中1=)(1 xyp )(2 xyp 6 5，(22点)图3显示了一个离散的无记忆通道：a)写出该通道的转移概率矩阵；(3分)b)通道对称吗？(2分)c)计算信道的信道容量；(8分)d)当达到信道容量时，计算输出概率分布；(6点)e)当达到信道容量时，找出输入概率分布。(3分)图3中的答案是：=214 14 14 14 12 1010 p；该通道不是对称通道；=202 log log log 0 log log 3 2 1 4 1 4 1 4 1 1 2 1 2 1 2 4 1 1 4 1 4 1 4 1 4 1 4 1 4 1 4 1 4 1 4 1 1 2 1 2 3 4