信息论与编码

#桂林工学院2009-2010学年第二学期课程名称：《信息论与编码》一、填空(每题2分，共20分)1、信息是对事物状态(或它的存在方式)的不确定性的一种描述，其中自信息I(x)=；事件发生前，它表示，事件发生后，它表示。X]「xxx〕2、已知一个单符号离散无记忆信源，d/Y、={Ik12，则其四次扩展信源的序列P(X)11/21/41/41熵的大小为。3、对于单符号离散无记忆信源X,若输出符号取值于集合4,x,x,xxx,x,x},则其最1234,5,678大信源熵为，且达到此最大熵时各符号的概率分布为。4、信源编码的目的是为了提高通信系统的,而信道编码的最终目的是为了。5、一离散信道的信道矩阵如下所示，则其信道容量为比特/信道符号。TOC\o"1-5"\h\z-0.20.30000000.10.4一P=000.20.30.500000000000.10.60.3006、有一个信源，它产生0,1序列的信息，它在任意时间而且无论以前发生什么符号，均按P(0)=0.3,P(1)=0.7的概率发出符号，则H(X2)=,X2信源中可能有的符号H(X3/X1X2)=。7、在对单符号离散信源进行费诺编码时,其中一个步骤是按编码进制数将概率分组,分组的原则是使每组概率之和。8、设某二元码为C={11100,01001,10010,00111}若码字等概率分布，则此码的码率为，若采用最小距离译码准则，则接收序列10011,01100,应译成的码字分别为、(7,4)汉明码的许用码组有一个；若一码组为0100n1,则其码重为。

10、某(7,4)循环码，生成多项式为g(x)=X3+x+l(对应码字为0001011),则码字10100n此循环码的码字，码字1100100此循环码的码字(本题填“是”或“不是”)。二、选择,将正确答案代号填写在题后的括号内(20分)1、设有离散无记忆信源XP1、设有离散无记忆信源XP(X)x=0x=1x=2x=3]1/22/41/81/81，其发出的消息为3021300120021011030101002,则此消息中平均每个符号携带的信息量是答:()(D)1.84比特/符号(A)2比特/符号(B)1.75比特/符号(C)1.98(D)1.84比特/符号2、若三个离散随机变量，有如下关系：X+Y=Z，其中X和Y相互独立。则以下各组关系式中哪一组是正确的答:()I(X;Z)=H(Z)-H(Y);I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);I(X;Z)=H(Z)-H(Y);I(X;YZ)=H(Y);I(Y:Z/X)=H(Z);I(X;Y/Z)=H(X/Z);I(X;Y)=0;I(X;YZ)=H(X);I(Y:Z/X)=H(X);I(X;Y/Z)=H(Z/X);I(X;Y)=0;I(X;YZ)=H(X);I(Y:Z/X)=H(Y);I(X;Y/Z)=H(X/Z);TOC\o"1-5"\h\z3、八进制脉冲所含信息量是二进制脉冲的几倍。答:()(A)2(B)3(C)1/2(D)1/34、发送端发送纠检错码,接收端根据纠检错码判断接收的消息是否有错,如果在纠错范围内,则自动纠错,否则反馈给发送端,发送端重新发送信息,这种纠错方式为何种纠错方式。(A)前向纠错(B)混合纠错(C)反馈重传纠错5)自动纠错答：()5、设加性高斯白噪声信道中，信道带宽为4KHZ，又设｛(信号功率+噪声功率)/噪声功率=16｝则该信道的最大信息传输速率为多少？答:()(A)15Kbit/s(B)16Kbit/s(C)16.35Kbit/s(D)18Kbit/s6、设无记忆二进制信源fX1P(X)J01]6、设无记忆二进制信源fX1P(X)J01]0.80.21，对此信源发出的二元序列进行游程编码,则0游程长度为3的概率为(A)0.128(B)0.512(C)0.64(D)0.04答:()7、某单符号离散无记忆信源，信源符号数n=45,对其编四进制哈夫曼码，号数r等于(A)1(B)2(C)3(D)4则首次缩减时选取的符答:()8下面哪个性质不属于加权熵的性质。答:()(A)非负性(B)对称性(C)非容性(D)凸函数性XIxxxxI9、已知离散信源Pm)01030204卜某信道的信道矩阵为P(X)I0.10.30.20.4Ix1x2x1x2x3x4y1飞.20.60.50.1yy230.30.10.20.10.20.10.30.4y40.40.10.20.2则“收到y3的条件下推测输入乂1”的概率为()(A)1/32(B)0.32(C)0.1(D)1/22f1f110、已知一个(6,3)线性分组码的生成矩阵G=0e00101、10110,则在其伴随式一差错图案01011,答:()表中，错误图案E=(000001)对应的伴随式为：(A)010(B)001(C)011答:()三、判断题。以下陈述中，正确的在题号前打J,错误的打义。(10分)()1.若信源发送xi,信宿接收到七，则互信息量表示从yj中得到的关于xi的信息量。()2.离散信源熵表示信源输出后，每个离散消息所提供的平均信息量。()3.平均互信息量是从平均意义上度量每通过一个符号流经信道的平均信息量。所以平均互信息量就等于所有符号的互信息量之和除以符号的总个数。()4具有一一对应关系的无噪信道,要达到其信道容量必须要求信源等概率分布。()5信道容量就是在固定信源的情况下求平均互信息的极大值；而信息率失真函数是在实验信道中(满足保真度准则的信道)中寻找平均互信息量极小值的问题。()6.信源是否平稳,取决于信源所发符号序列的概率分布是否与时间的起点有关；而信源是否有记忆,取决于信源输出的消息序列中前后符号之间有无相互依赖关系。()7.连续信源的绝对熵为无限大。()8.奇校验码能发现奇数个错,偶校验码能发现偶数个错。()9.香农编码时,应先确定每个信源符号的码长,再编码字。()10.信源熵只与信源的总体结构有关,而不在乎个别消息的概率,甚至与消息的取值无关。以下计算题,共50分四、(10分)有一BSC信道，已知其转移概率P(0/1)=0.05：1、试写出该信道的信道矩阵并求其信道容量。2、设该信道以750二元符号/秒的速度传输输入符号。现有一消息序列共有5000个二元符号,并设P(0)=P(1)=0.5,问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？五、(10分)在图片传输中，每帧约有2.5X106个像素，为了能很好地重现图像，每像素又取32个不同的亮度电平，并设亮度电平是等概率出现。试计算每三分钟传送一帧图片所需信道的带宽(信噪功率比为30dB)。1/31/61/83/8六、(8分)求信道矩阵尸=对应的信道容量，并说明达到该信道容量的信源输1/61/33/81/8入概率分布。

七、(10分)信源的空间为XP(X)七、(10分)信源的空间为XP(X)XXXXXX1234560.200.180.190.100.010.15x70.14x80.03(1)若码符号为x=hi},试构造一种二元紧制码，并计算其编码效率。(2)若码符号为x=hi},用香农-费诺-埃利斯编码方法编成二元变长惟一可译码，并计算其编码效率。-oo111or八、(12分)：已知一个(7,3)线性分组码的生成矩阵为G=010011110011101、求这线性分组码的n=？，k=?编码效率为多少？所编程序：G=[0011101;0100111;1001110];n=size(G,2);k=size(G,1);nkdisp。编码效率为h：1)h=k/n;h运行结果：3编码效率为h.h=0.42862、当输入序列为101010110时，求经过此编码器编码后的输出序列;所编程序：G=[0011101;0100111;1001110];n=size(G,2);k=si