信息论与编码期末考试题全套

1、、判断题共10小题，满分20分.编码方法惟一的是.X01一，一一一7、某二元信源，其失真矩阵P(X)1/21/21.当随机变量X和Y相互独立时，条件嫡H(X|Y)等0a、一,D,则该信源的Dmax=a0于信源嫡H(X).()2 .由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.()3 .一般情况下，用变长编码得到的平均码长比定长编码大得多.()4 .只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.()5 .各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.()6 .连续信源和离散信源的嫡都具有非负性.

2、()7 .信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8 .汉明码是一种线性分组码.()9 .率失真函数的最小值是0.()10 .必然事件和不可能事件的自信息量都是0.()三、本题共4小题，满分50分.1、某信源发送端有2种符号Xi(i1,2),p(x)a;接收端有3种符号yi(j1,2,3),转移概率矩阵为1/21/20P.1/21/41/4(1)计算接收端的平均不确定度H(Y);(2)计算由于噪声产生的不确定度H(Y|X);(3)计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示,信源X的符号集为0,1,2.

3、、填空题共6小题，满分20分.1、码的检、纠错能力取决2、信源编码的目的是;信道编码的目的是.(1)求信源平稳后的概率分布；(2)求此信源的嫡；(3)近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的嫡H(X)并与H进行比较.3、设码SS2S30.40.20.1元紧致码.号为X0,1,2S4S5S6S70.10.050.050.05信源空间为s试构造一种三0.053、把信息组原封不动地搬到码字前k位的(n,k)码就叫做.4、香农信息论中的三大极限定理是、.5、设信道的输入与输出随机序列分别为X和Y,则I(Xn,Yn)NI(X,Y)成立的条件.6、对于香农-费诺编码、原始香农-费

4、诺编码和哈夫曼编码，4、设二元(7,4)线性分组码的生成矩阵为11010000110100G11100101010001(1)给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；(2)若接收矢量v(0001011),试计算出其对应的伴1/13随式S并按照最小距离译码准则试着对其译码.一、填空题(共15分，每空1分)1、信源编码的主要目的是，信道编码的主要目的是。2、信源的剩余度主要来自两个方面，一是,3、三进制信源的最小嫡为,最大嫡为。4、无失真信源编码的平均码长最小理论极限制为。5、当时，信源与信道达到匹配。6、根据信道特性是否随时间变化，信道可以分为和。7、根据是否允许失真，信源

5、编码可分为和。8、若连续信源输出信号的平均功率为9、在下面空格中选择填入数学符号“，”或“”(1)当X和丫相互独立时，H(XY)H(X)+H(X/Y)H(Y)+H(X)。HX1X2HX1X2X3(2)H2XH3X3(3)假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)0,H(Y/X)_0J(X;Y)H(X)_。二、(6分)若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对嫡,并说明该信源的绝对嫡为多少。三、(16分)已知信源81s28354s5空,则输出信号幅度的概率密度是时，信源具有最大嫡，其值为值。符号独立出现，出现概率分

6、别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s。计算：(1)信息传输速率R。(5分)(2)将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为n010P0.20.20.20.20.10.1(1)用霍夫曼编码法编成二进制变长码；(6分)(2)计算平均码长L；(4分)(3)计算编码信息率R;(2分)(4)计算编码后信息传输率R；(2分)(5)计算编码效率。(2分)WHz。试计算正确传输这些数据最少需要的发送功率P。(5分)五、(16分)一个一阶马尔可夫信源，转移概率为-2-_1_PSIS-,PS2IG-,P6隹1,PS2IS20。33

7、(1)画出状态转移图。(4分)(2)计算稳态概率。(4分)(3)计算马尔可夫信源的极限嫡。(4分)(4)计算稳态下H1,H2及其对应的剩余度。(4分)六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。12七、(16分)设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算HX,HZ;(2)HXY,HXZ;HX|Y,HZ|X;(4)IX;Y,IX;Z;八、(10分)设离散无记忆信源的概率空间为Xx1x21 2,通过干扰信道，信道输出端的接收符号P0.80.2集为YY1，Y2，信道传输概率如下图所示。四、(10分)某信源输出A、B

8、、CDE五种符号，每一个2/13(2)(4)X21634相对嫡hx=2bit/计算信源X中事件Xi包含的自信息量;计算信源X的信息嫡;计算信道疑义度HX|Y；计算噪声嫡HY|X；计算收到消息Y后获得的平均互信息量。信息论基础参考答案一、填空题（共15分，每空1分）1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。2、信源的剩余度主要来自两个方面,性，二是信源符号的统计不均匀性。是信源符号间的相关3、三进制信源的最小嫡为0.,最大嫡为10g23bit/符号。4、无失真信源编码的平均码长最小理论极限制为信源婀H（S）/logr=Hr（S）。5、当R=C或（信道剩余度为0）时，信源

9、与信道达到匹配。6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。8、若连续信源输出信号的平均功率为的概率密度是高斯分布或正态分布或2,则输出信号幅度x21二xhe时，14,20,其它62fxlogfxdx自由度该信源的绝对嫡为无穷大。三、（16分）已知信源(3)(4)(5)0.20.20.20.20.10.1用霍夫曼编码法编成二进制变长码；（6分）计算平均码长L；（4分）计算编码信息率R；（2分）计算编码后信息传输率R；（2分）计算编码效率编码结果为:。（2分）信源具有最大嫡，其值为值110g229、在下面空格

10、中选择填入数学符号“(1)当X和丫相互独立时，H(XY)=H(X)+H(X/Y)=H(Y)+H(X)。(2)H2XHX1X2H3X2-HX1X2X3（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中,H（X/Y）0,H（Y/X）=0,IX;Y）H（X）_二、（6分）若连续信源输出的幅度被限定在【O2,6】区域内,当输出信号的概率密度是均匀分布时，计算该信源的相对嫡,并说明该信源的绝对嫡为多少。(3)(4)(5)评分:最短3/13S1S2SS4S50.20.20.20.20.11.00.1SS2S3S4S5&00011001011101110.40.626码元/2.67符号Llogr

11、=2.6b%V署两吗/元其也H0.2,0.2,0.2,0.2,0.1,0.12.53”分号HSHS-0.973LlogrL其他正确的编码方案：1,要求为即时码2,平均码长四、（10分）某信源输出A、B、CDE五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s。计算：（1）信息传输速率R。（5分）（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪2PS1P|SPi12PS2PS2|SPi12Psips23163PsPSPS21声信道传输，噪声的单边功率谱密度为n0106W，Hz。试计算正确传输这些数据最少需要的发送功率P。

12、（5分）解：(1)Rt1HXtHXYPS1得PS234141111HX_log_4log_882211log8log231log2log2222log22bitRt2bit05s4106bps41062106log1P1062106(3)该马尔可夫信源的极限嫡为：22HPSiPSj|SilogPSj|Sii1j132-2311loglog一4334331 10.578-1.5992 40.681bit/符号0.472nat/符号0.205hart/符号P6W五、（16分）一个一阶马尔可夫信源，转移概率为21PS|S1-,PS2|S1-,PS1|S21,PS2|S233（1）画出状态转移图。（4

13、分）（2）计算稳态概率。（4分）（3）计算马尔可夫信源的极限嫡。（4分）0。(4)在稳态下：3311PxlogPx-lo%-lo%0.81bif付节H2H0.205nart/符号0.472na符号0.681bit/符号对应的剩余度为（4）计算稳态下Hi,H2及其对应的剩余度。（4分）解：13Sr二S212(2)由公式PSiPSi|SjPSjj1有H。0.8110.189loglog22220.6811rr1一log一-log一22220.319六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。4/131212*1212(2)HHXZ解：信道传输矩阵如下XYX|YZ|XHZ|X1,0

14、12Ht/对PY|X可以看出这是一个对称信道,log411,0.022logLpyj|为log4j1c1.12log22-H21bit1,00.5bit1.%it对七、0或积)。(2)(4)解:1212(4)IX,YHY|X1212IX,ZHZ|X0.81130.50.3113)it1212L=4,那么信道容量为logpyj|x1bit(16分)设X、Y是两个相互独立的二元随机变量，其取1的概率相等。定义另一个二元随机变量Z=XY(一般乘试计算、(10分)设离散无记忆信源的概(6)XiX2率空间为x1x2,通过干扰信道，信道输出端的接收符号0.80.2y1，y2，信道传输概率如下图所示。y11

15、.6计算信源X中事件X1包含的自信息量;XY,HXZ;X|Y,HZ|X;X;Y,IX;Z;Z0P(Z)3/411/411HXH，1bit2231H(2)H-,-0.8113bit44(8)(9)计算信源X的信息嫡;计算信道疑义度HX|Y；计算噪声嫡HY|X；(10)计算收到消息Y后获得的平均互信息量。解：(1)I%log0.80.322bit0.0969hart0.223natHXH0.8,0.20.72bit符号0.5i符0.217artM(3)转移概率:联合分布:5/13y1y2X15/61/6X23/41/4HXY22313,15,2O,2Oy1y2X12/312/154/5X13/20

16、1/201/549/6011/601/51.404bit/符号0.973nat；符号0.423hart/符号HYH49/60,11/600.687it符号0.47照俏号0.2073船号HX|YHXYHY0.717t符号0.49W号0.2地海号(4)HY|XHXYHX0.6版符号0.4确符号0.20&.代号IXYHXHX|Y0.00504?号0.00349?号0.00俾f号B、交互嫡一定不小于CG有效信息量一定不大于CD条件嫡一定不大于C4、在串联系统中，有效信息量的值（）A、趋于变大B、趋于变小G不变D不确定5、若BSCJ道的差错率为P,则其信道容量为:（）AHpplog21PP1pBC1HP

17、DPlog（P）,则其无记忆（三）选择题（共10分，每小题2分）1、有一离散无记忆信源X,其概率空间为x1x2x3x40.50.250.1250.125次扩展信源的嫡H(X2)=()A、1.75比特/符号；B、3.5比特/符号；G9比特/符号；D、18比特/符号。2、信道转移矩阵为P(%/Xi)P(y2/x)000000P(y3/X2)P(yUx2)000000P(y5/X3)P(Y6/X3),其中P（yj/x。两两不相等,则该信道为A对应的无噪信道R具有并归性能的无噪信道G对称信道D具有扩展性能的无噪信道3、设信道容量为C,下列说法正确的是：（）A互信息量一定不大于C、填空题（20分，每空2

18、分）1、（7,4）线性分组码中，接受端收到分组R的位数为伴随式S可能的值有一种,差错图案e的长度为，系统生成矩阵Gs为行的矩阵，系统校验矩阵Hs为行的矩阵，Gs和Hs满足的关系式是。2、一张1024X512像素的16位彩色BMP图像能包含的最大信息量为o3、香农编码中，概率为P（Xi）的信源符号Xi对应的码字Ci的长度Ki应满足不等式03、设有一个信道，其信道矩阵为0.250.50.250.250.250.5，则它是信道（填0.50.250.25对称，准对称），其信道容量是比特/信道符号。6/131.某信源含有三个消息，概率分别为p(0)=0.2,p(1)=0.3,三、（20分）X*x2,通过

19、一个干扰信P（X）0.50.5道，接受符号集为Yy1y2,信道转移矩阵为1434试求（1）H（X）,H（Y）,H（XY）;（7分）（2） H（Y|X）,H（X|Y）;（5分）（3） I（Y;X）。（3分）（4）该信道的容量C（3分）（5）当平均互信息量达到信道容量时，接收端Y的嫡H（Y）o（2分）计算结果保留小数点后2位,单位为比特/符号。四、（9分）简述平均互信息量的物理意义，并写出对应公式五、（10分）假设英文字母表（n=26）,密钥k=abc,当明文m=familycome时，使用Vigenere密码算法后得力lmax、最大纠错能力tmaxo（3分）2.填与卜面的es表（8分）es4.现

20、有接收序列为r（1100100）,求纠错译码输出？。（4分）5.5.画出该码的编码电路（4分）（四）四、简答题（共20分，每题10分1 .利用公式介绍无条件嫡、条件嫡、联合嫡和平均互信息量之间的关系。2 .简单介绍哈夫曼编码的步骤五、计算题（共40分）p（2）=0.5,失真矩阵为D032。到的密文c=?请写出具体的步骤。六、（10分）设有离散无记忆信源，具概率分布如下:求Dmax、Dmin和R(Dmax)o(10分)P(X)2X2X3X4X5X6X711工。工工48163264642.设对称离散信道矩阵为量Co（10分）1166,求信道容1133对其进行费诺编码，写出编码过程，求出信源烯）、平

21、均码长和编码效率。七、信道编码（21分）001110011010011011013.有一稳态马尔可夫信源，已知转移概率为p（S1/S2）=1。求:（1）画出状态转移图和状态转移概率矩阵。（2）求出各状态的稳态概率。（3）求出信源的极限嫡。（20分）p(S1/S1)=2/3,10,01现有生成矩阵Gs010000一、（11）填空题(五)1.求对应的系统校验矩阵Hs0（2分）2求该码字集合的最小码字距离d、最大检错能（1） 1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2） 必然事件的自信息是07/13(3) 离散平稳无记忆信源X的N次扩展信源的嫡等于离散信

22、源X的嫡的N倍。(4) 对于离散无记忆信源，当信源嫡有最大值时，满足条件为信源符号等概分布。(5) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。(6) 已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出2个码元错误，最多能纠正1 个码元错误。(7) 设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R_小于C(大于、小于或者等于),则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。(8) 平均错误概率不仅与信道本身的统计特性有关，还与译码关则和,编码方法有关二、(9)判断题(1) 信息就是一种消息。()(2) 信息论研究的主要问题是在通信系统

23、设计中如何实现信息传输、存储和处理的有效性和可靠性。()(3) 概率大的事件自信息量大。()(4) 互信息量可正、可负亦可为零。()(5) 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。()(6) 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。()(7) 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。()(8) 信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。()()三、(5)居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高

24、1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设ABE示“大学生”这一事件，砧示“身高1.60以上”这一事件，则P(A)=0.25p(B)=0.5p(B|A)=0.75(2分)故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375(2分)I(A|B)=-log0.375=1.42bit(1分)五、(18).黑白气象传真图的消息只有黑色和白色两种，求：1)黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求嫡HX;2)假设黑白消息出现前后有关联，其依赖关系为

25、(9)信息率失真函数R(D)是关于平均失真度D的上凸函数.8/133）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。解：1）信源模型为分）的=黑巴二白（1S30.72目尸（匕心尸（马）。一881加/符号（2分）22）由题意可知该信源为一阶马尔科夫信源。（2分）尸也尸尸（勺）户（小%.）,1,2Fa）=14分）得极限状态概率响二2分）产（黑）190,44710g22&（田=$%）啊嘀啊二。至33胞牺3分）（1分）券0.11921。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）六、（18）.

26、信源空间为XX1%X3X4X5x6X7与P（X）0.20.190.180.170.150.10.01，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。9/13信源消息后号与符号概率累而S率匕一姆则）码字长即尺字a20023230(H)石。9“22393001a3(L180.392473011q。霜2q31M(L15pL7425431D1取。刘。利33241110工0.010.996.64711111107Lp(ai)li3.14rH(X)20.831i1a0.200.190.190.180.18,0.170.170505,OJOV,0.01小网少二272日码元/

27、符号即曾色.6L272比斯符号0.0.260.3S,0.39JJ.61一1+ir/TOJO/a26/035邙0,39fin/0,190.200.26Xl080.19J0.17J信源符号4概码字w,科长1公0,201020.19112%U.1S(HmJ40J7(HJ1J公0.15(HU3“MU(11104a.0JII(HlJ4卜。二町2）（3分）最大后验概率准则下，有，可入110）.二元对称信道如图。431,一1）若p0p1,求HX、HX|Y和IX;Y；442）求该信道的信道容量。瞰1）1共6分2方当=03113次符号HX|Y0.749bit/符号z(zPr)-0,0616对”符号2）,C三0.

28、0S2射符号（3分）此时输入概率分布为等概率分布。（1分）九、（18）设一线性分组码具有一致监督矩阵000111H0110011010111）求此分组码门=?k=?共有多少码字?2）求此分组码的生成矩阵Go3）写出此分组码的所有码字。4）若接收到码字（101001）,求出伴随式并给出翻译结果。七（6).设有一离散信道，其信道传递矩阵为1/21/31/6P（X1）141，八，人,试分别按最大后验2141/61/21/3,并设P（X2）1/31/61/2P（X3）概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。1）（3分）最小似然译码准则下，有，解：1）n=6,k=3,共有8个码

29、字。（3分）2)设码字CC5C4c3c2cleo由HCT0T得C2C1C00C4C3C00C5C3CiC00(3分)令监督位为C2。1。0,则有10/13生成矩阵为C2ClC0C5C3C5C4C4C3011000111101（3分）8.什么是保真度准则？对二元信源侬口1-叫，其失真矩阵卜口,求a0时率失真函数的和以由？（2分）3）所有码字为000000,001101,010011,011110,100110,101011,110101,111000O（4分）4）由STHRT得S101,（2分）该码字在第5位发生错误，（101001）纠正为（101011）,即译码为（101001）（1分）二、综

30、合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求嫡,（六）一、概念简答题（每题5分，共40分）1 .什么是平均自信息量与平均互信息，比较一下这两个概念的异同？2 .简述最大离散嫡定理。对于一个有m个符号的离散信源，其最大嫡是多少？3 .解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？4 .对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。5 .写出香农公式，并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。6 .解