信息论与编码隋晓红自我检测题答案

1、I我检测题参考答案一、填空题1. 不存在2. 比特(bit),奈特(nat),哈特莱(Hartley)3. 等概，不等概-logPi5.6.7.4. 12bit2bit/符号E=1一H(X)Hmax(X)8.5bit/s选择题1. B2. C3. C4. C5. A三、简答题1 .一个信源可以用概率空间描述，它的不肯定程度可以用这个概率空间的可能状态及概率来描述。事件发生的概率越大，不肯定性就越小，而事件发生的概率越小，不肯定性就越大，对于发生概率等于1的必然事件，则不存在不肯定性。信源概率空间的概率分布为等概率时，不肯定程度最大。等概率时，不肯定程度与信源概率空间的可能状态数或相应的概率有关

2、，状态数越多或相应的概率越小，不肯定程度越大。2 .哈特莱指出：应该用信源概率空间的概率的倒数的对数来度量不肯定程度，也就是不肯定度与概率的倒数的对数成比例，即H(X)=Klog(1/p)。3 .信息量(I)=不肯定程度的减小量。4 .自信息量是一个事件(消息)本身所包含的信息量，它是由事件的不肯定程度决定的。如果发生事件Xi的概率为p(Xi),它的自信息量可以定义为：I(Xi)=logp(Xi)。5 .互信息量I(Xi;yj)实际上就是已知事件yj后，所消除的关于事件Xi的不肯定性，它等于事件Xi本身的不肯定性I(Xi)减去已知事件yj后对Xi仍然存在的不肯定性p(Xi|yj)I(xi|yj

3、),可以te乂为：I(Xi;yj)=I(Xi)I(Xi|yj)=log。p(xi)6 .平均自信息量又称为信息嫡或信源嫡，简称为嫡，用H(X)来表示，对于离散信源X,N它的信源嫡H(X)的表达式为：H(X)=Ep(xi)10gp(Xi)。i17 .(1)嫡函数H(X)具有非负性(2)嫡函数H(X)是P(x)的连续函数(3)状态数为N,等概时，嫡函数H(X)为N的单调增函数8 .信源在单位时间内输出的嫡称为信源的嫡速率，也叫做信息速率或传信率，用H'(X)表示。信道容量就是指信道对信源的一切可能的概率分布而言能够传送的最大嫡速率，用C表示，其单位为比特/秒。四、计算题1. (1)P=0.

4、185,Ii=2.43bit(2) P2=0.303,I2=1.72bit(3) P3=0.727,I3=0.46bit2. I(e)=3.2515bit,I(c)=43.47826bit,I(o)=9.944bit3. H60(X)=114.34bit4. H(X)=1,H(Y)=1,H(X|Y)=1,H(XY)=2一、填空题1. 162. 1,13. 7,3,1,(7,3,1)4. 2n-1二、选择题1. A2. C3. D三、简答题1 .所谓等长二元码，是指所有码字长度相同(即有相同的码元数)，并且码元是二元的(为+1或-1)的码。2 .详见书(略)。3 .在码字中，相同码元的码元串称为

5、游程。4 .详见书(略)。5 .m序列码也就是最大长度线性移位寄存器序列，它是二元序列，由+1和-1两个码元构成。m序列码可以由移位寄存器构成，一个m级的线性移位寄存器可以产生周期为2m-1的序列。6 .哈达码矩阵是由+1和-1码元组成的正交方阵，其任意两行或两列均互相正交，即任意两行或两列对应的相同码元数和不同码元数相同。四、计算题由f(x)=x3+x+1构造的m序列发生器如下图所示。根据m序列发生器，初始状态为110时输出的一个时序表如下表所示。序号SiS2S3So=Si©S3输出011011111100201110310100401001500110610011711011由此

6、可知，该m序列产生器输出的一个周期序列为：1-1-1-11-111。一、填空题1. 有效性，无失真信源，限失真信源2. 2,3,3,43. 定长码，变长码4. 15. 山农一范诺编码，霍夫曼编码二、选择题1. B2. A3. C三、简答题1 .如码元集合A中只有两个元素，如1,0,则由两个元素构成的码字就称为二元代码。2 .详见书(略)。3 .所谓信源最佳化就是要改造信源，使其嫡值最大化，而信源嫡H(X)最大化实质上就是寻求一种最佳的概率分布4 .如果二元代码的两个码元长度相同，称为同价代码；否则，就是非同价代码。如果码字序列W中各码字含有的码元数相等，则W称为等长代码。5 .如果对多个码字(

7、W1,W2,Wn)任意组合成的序列再进行分割，只能唯一地分割成一个个码字，则称W为单义代码。6 .如果码字集W中任一码字都不是由其它码字后面添加码元构成的，则W就称为非续长代码，否则就是续长代码。7 .详见书(略)。一、填空题1. 02. 13. 04. 15. 06. 参量表示计算，迭代计算二、选择题1. C2. B3. A4. B5. C三、简答题1 .为了保证失真函数为非负，因为负的失真函数违反数据处理定理，不可以使用。2 .平均失真度D不大于某个额定值D,即：D<D,这个式子就称为保真度准则。3 .见书(略)。4 .研究信息率失真函数是为了在信源和允许失真度的条件下，即在信宿可以

8、接受失真的前提下，使信源传输给信宿的信息率最小。也就是信源用尽可能少的码符号传送尽可能多的信源信息。5 .(1)R(D)定义域内，D具有最大值和最小值；(2) R(D)是关于D的下凸函数；(3) R(D)在定义域内是严格递减函数。6. 信息率失真函数是在信源固定，满足保真度准则的条件下的信息传输率的最小值，它反映了满足一定失真度的条件下信源可以压缩的程度，也就是满足失真度要求的情况下，传递信源信息所需的最小平均信息量，即使传信率最小。R(D)是信源特性的参量，信源一旦确定就不会改变，R(D)与试验信道无关，不同的信源R(D)不同。信道容量是指在信道固定的前提下，选择一种信源概率分布使信息传输率

9、最大(求极大值)，它反映了信道传输信息的能力，是信道可靠传输的最大信息传输率，即有最大的传信率，也就是信道容量。信道容量与信源无关，是信道特性的参量，信道一旦确定，信道容量就不会发生改变，不同的信道其信道容量不同。7. 见书(略)。8. 见书(略)。9. 见书(略)。一、填空题1. 32. 3,43. 4,24. 0,15. 分组，106. 27. 38. 2二、选择题1. B2. C3. D4. D5. B三、简答题1 .最小码距dmin与检纠错能力有如下关系：(1)若能卞测e个错，则最小码距dmin应满足如下条件：dmin>e+1(2)若能纠正t个错，则最小码距dmin应满足如下条件

10、：dmin>2t+1(3)若能纠正t个错，且能检测e个错，则最小码距dmin应满足如下条件:dmin>t+e+1,e>t2 .正反码是一种简单的能够纠正错误的编码，它的监督位数与信息位数相同，监督码是信息码还是反码，则有信息码中的“1”的个数来决定。电报通信中采用长度为10的正反码具有纠正一位错误的能力，并能检测全部两位以下的错码和大部分两位以上的错码。3 .将信息码分组，为每组信息码附加若干监督码的编码称为分组码。分组编码的特点是：它的输出仅与当时的输入有关，而与以前的输入无关。4 .卷积码又称连环码，它是一种线性码，但不是分组码。在卷积码中，一个码组的监督码元不仅与当前子

11、码的信息码元有关，而且与在这之前的的信息码元有关，各码组的监督码元不仅对本码组而且对在这之前的信息码元也起监督作用。5 .n表示码字长度，k表示码字中信息码元的个数，m表示编码约束长度。6 .见书(略)。000101100111010110001011四、计算题G01 .解：生成矩阵G=0一0输出的码序列为：110100101100011010011。2 .解：生成矩阵为：G(x)l=x3g(x)x2g(x)xg(x)J(x)x5十x4+-x3+5xx4x32x3Xx2所以有:11001011010001010110100110111001011011100O3 .解：由该卷积码的基本生成矩阵可以得出：n=3,k=1,其中P0T=111,P1T=01