信息论第2章作业.doc

19第2章作业1 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？2 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解： 信息量：比特3 设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求（1） 求每个符号的自信息量；（2） 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。4 有一信源输出X0,1,2，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y10,1和Y20,1。已知条件概率为P(Y1|X)01P(Y2|X)0101001010111021/21/2201求：1) I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。2) I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。3) I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。解：（1） 类似的 =0.5bit/sym I(X;Y1)= =0.5 bit/sym =0 bit/sym I(X;Y1)= =1bit/sym I(X;Y1)I(X;Y2),故第二次试验更好，因为获得的信息量更多。（2）因为Y1和Y2相互独立 类似地得出Y1和Y2的联合概率分布由P(XY1Y2)=P(X)P(Y1Y2X)= P(X) P(Y1X) P(Y2X)，得出X和Y1Y2的联合概率分布Y1Y2010 1XY1Y2 010010Y1和Y2的联合概率分布2X和Y1Y2的联合概率分布 =-4log=2bit/sym =-4log=2bit/sym=H(,)=1.5bit/sym =1.5+2-2=1.5bit/sym- I(X;Y1)=1.5-0.5=1 bit/sym- I(X;Y2)=1.5-1=0.5 bit/sym故做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得1 bit/sym和0.5 bit/sym。（3）= = =0.5 bit/sym同理，得出=1 bit/sym结果说明，在做完实验Y1或Y2的条件下再做第二个实验，并没有获得更多的信息，因为Y1和Y2相互独立，没有任何关联。 5 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代表D。每个二元码脉冲宽度为5ms。（1） 不同字母等概率出现时，计算传输的平均信息速率？（2） 若每个字母出现的概率分别为pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平均信息速率？(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为=2bit/ms=200bit/s (2) 信源熵为 H(X)= 传输的平均信息速率为 =0.198bit/ms=198bit/s6 （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5105个像素和10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。解：（1）需要5105个像素和10个不同亮度电平，则可能出现的不同画面为每个画面等概率出现，P=1/每帧图像的熵 H(X)= Log()=5Log10=1.66比特传送此图像所需的信息率： 30H(X)=4.98比特/秒（2）彩色系统，要求三十个不同色彩度，则有可能出现的不同画面为每个画面等概率出现，P=1/每帧图像的熵 H(X)= Log()=5Log300 传送此图像所需的信息率： 30H(X)=1.234比特/秒 故传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。7 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6概率发出符号。（1）试问这个信源是否平稳的？（2）试计算H()，H(X3/ X1 X2)及HN(X)。（3）试计算H()并写出信源中可能有的所有符号。解：(1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号”(2) (3) 8 给定语声样值X的概率密度为求HC(X)，并证明它小于同样方差的正态变量的微分熵。解： =（奈特/符号）同样方差的正态变量的微分熵 H(X)= HC(X) H2 , 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。