信息论与编码期末考试题全套

1、（一）三、本题共 4 小题，满分 50 分. p(x)?ax)2i(?1,；接收种符号,1、某信源发送端有2 .一、判断题共 10 小题，满分 20 分1iy(j?1,2,3)，转移概率矩端有3种符号阵为i1/21/20?)(HX|YYX1-p等和1. 当随机变量相互独立时，条件熵1-p.?P ?421/41/1p/2?1. )HX( （ ）于信源熵计算接收端的平均不确1） p/2)(YH ；定p/2由于构成同一空间的基底不是唯一的，所以不同的基2.p/p/2计算由于噪声产生的不） （p/2. 集可能生成同一码底或生成矩阵有)Y|XH( 确定度； （ ）计算信道容量以及最佳3） （2一般情况下

2、，用变长编码得到的平均码长比定长编码3. 入口分布1-p. 大得多） （一阶马尔可夫信源的状态转2、2-13图只要信息传输率大于信道容量，总存在一种信道编4. .20,1,X 的符号集为移图如右图所示， 信源译码，可以以所要求的任意小的误差概率实现可靠. 信的通 （ ） （1）求信源平稳后的概率分布； 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存 （2）求此信源的熵； . 在的充分和必要条件（）近似地认为此信源为无记忆时，符号的概率分布为3 （. 6. 连续性有非负源的熵都具信源和离散信 平 ）（ . .H)XH(进行比较求近似信源的熵并与稳分布?信源的消息通过信道传输后的误差或失真越

3、大，信宿7. 收到消息后对信源存在的不确),4(7为阵码元的生成矩线性分组、 4设二. 定性就越小，获得的信息量就越小. （ ）8. 汉明码是一种线性分组码1101000?.0 ）率失真函数的最小值是9. （ ?0010011.0? 必然事件和不可能事件的自信息量都是10.（）.?G ?0100111. 20 分二、填空题共 6 小题，满分?0110001?. 码的检、纠错能力取决于1、（1）给出该码的一致校验矩阵，写出所有的陪集首和与. 、信源编码的目的是；信道编码的目的是2之相对应的伴随式； k),k(n码就、3把信息组原封不动地搬到码字前位的)v?(0001011）若接收矢量，试计算出其

4、对应的伴随 （2. 叫做S并按照最小距离译码准则式 、. 香农信息论中的三大极限定理是、4. 试着对其译码YX，则和、5设信道的输入与输出随机序列分别为 NN（二） 成立的),YY)?NI(XI(X,. 条件 一、填空题（共15分，每空1分） 费诺编码和哈夫曼编-费诺编码、原始香农-6、对于香农. 码，编码方法惟一的是1、信源编码的主要目的是，信道编码的主要目的是。 2、信源的剩余度主要来自两个方面，一是，二是。 1X0?，其失源元二信真矩阵7、某? 、三进制信源的最小熵为，最大熵为。32P(X)1/1/2? 。 4、无失真信源编码的平均码长最小理论极限制为 5、当时，信源与信道达到匹配。0a

5、?D .D? ，则该信源的=? 6、根据信道特性是否随时间变化，信道可以分为和。maxa0 ?1 / 11 。、根据是否允许失真，信源编码可分为和 72七、(16分)设X、Y是两个相互独立的二元随机变量，其取?，则输出信号幅度8、若连续信源输出信号的平均功率为0或1的概率密度是时，信源具有最大熵，其值为值。 的概率相等。定义另一个二元随机变量Z=XY(一般乘 ”9、在下面空格中选择填入数学符号“”或“?,?,?积)。试计算 ），H（XY当X和Y相互独立时1（）?;XZ,HH (1) H(X)+H(X/Y)H(Y)+H(X)。?XHXXXHX?;XZ,HHXY?31221 (2) ?HXHX ）

6、（2 2332表示。在无噪Y（3）假设信道输入用X表示，信道输出用?;|HHXX|YZ, (3) H(X/Y) 0, 有损信道中， Y) H(X)。H(Y/X)0,I(X。?ZX,IIX;Y;。(4) 三、（16分）已知信源 为率信源的概空间八、(10分)设离散无记忆Xxx?sssssSs?21635124?，通过干扰信道，信道输出端的接收符 ?0.10.10.2P0.20.20.20.2P0.8? 分）1）用霍夫曼编码法编成二进制变长码；（6（?yyY?,，信道传输概率如下图所示。号集为 21 （2分）计算平均码长。（4L56 yx11? 2。（分）（3）计算编码信息率R 分）24（）计算编

7、码后信息传输率。（R61? 2。（分）（5）计算编码效率 五种符号，每一、E、四、（10分）某信源输出AB、C、D34、1/21/8个符号独立出现，出现概率分别为1/8、1/8xy22?41 。计算：。如果符号的码元宽度为0.51/8s xX ）信息传输速率分）。（5（1R包含的自信息量；计算信源 中事件(1)1tX 的信息熵； (2) 计算信源为转移概率可夫一阶马一、五(16分)个尔信源，?YH|X；计算信道疑义度 (3) 21?SP0PSS|S|?PS|S?,PSS|1,?,。 2222111133?XH|Y 计算噪声熵；(4) (1) 画出状态转移图。(4分) Y(2) 计算稳态概率。(

8、4分) 后获得的平均互信息量。计算收到消息 (5)(3) 计算马尔可夫信源的极限熵。(4分) 信息论基础2参考答案 HH) 及其对应的剩余度。,(4分(4) 计算稳态下21一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目六、设有扰信道的传输情况分别如图所示。试求这种信道的 的是提高可靠性。信道容量。 2、信源的剩余度主要来自两个方面，一是信源符号间的相21 XY 关性，二是信源符号的统计不均匀性。21 213 符号。、三进制信源的最小熵为0，最大熵为bit/3log2 21、无失真信源编码的平均码长最小理论极限制为信源熵421 (S)）。（或H(S)/lo

9、gr= Hr 2112）时，信源与信道达到匹R=C5、当或（信道剩余度为0 21 2 / 11 6 配。码元? ? （2）2.6?0.6L?P3?0.4?2?符号ii、根据信道特性是否随时间变化，信道可以分为恒参信道61?i 和随参信道。bit ?r=2.6Rlog?L 3（） 符号、根据是否允许失真，信源编码可分为无失真信源编码和7 ?SH 限失真信源编码。2.53bit0.973?R?其中，（）4 码元 22.6L?，则输出信号幅度8、若连续信源输出信号的平均功率为bit?2.53?S0.2,0.2,0.2,0.2,0.1,0.1?HH 2x符号1? 2或的概率密度是高斯分布或正态分布ef

10、?x?2 ?2 ?SHHS? （）50.973? LlogrL12? 。时，信源具有最大熵，其值为值e2log 2，平均码 2评分：其他正确的编码方案：1，要求为即时码 ”或“、在下面空格中选择填入数学符号“”9?,?,? 长最短）（XY互和Y相独立时，H（1）当X五种符号，每一、B、C、DE四、（10分）某信源输出A、 =H(X)+H(X/Y)=H(Y)+H(X)。、1/8、1/8、1/2个符号独立出现，出现概率分别为1/8 ?XXXHXHX? 0.5。计算：1/8。如果符号的码元宽度为s?32121?X?HHX （2）? 3232 （1）信息传输速率。（5分）R表示。在无噪表示，信道输出用

11、XY（3）假设信道输入用t Y) 0, H(Y/X)=0,I(X。1? ?X? ）（1HXH?R? 分）已知信源三、（16Y ?ttssSssss?1111?632541log?4?H?Xlog? ? 28820.1P0.20.10.20.20.2?112?log?log8 22 （1）用霍夫曼编码法编成二进制变长码；（6分）132?log?log2 22 分）计算平均码长。（4（2L22log?2bit? 3）计算编码信息率2。（分）（Rbit26bps?410R? 分）24（）计算编码后信息传输率。（R t?s0.5? 2。（5（）计算编码效率分） 一个一阶马尔可夫信源，转移概率为五、(1

12、6分) 12?0SS?1,PPSS|S?,PSS|?,P|S 。 1）（ 21211221330S0.2) 画出状态转移图。(4分(1) 011S) (4分(2) 计算稳态概率。0.221.00S) (4分(3) 计算马尔可夫信源的极限熵。0.2031S10.2HH) 计算稳态下,分及其对应的剩余度。(4(4) 4210S0.151(1) 解：S10.16 1 编码结果为：3 SS 00?S112 101?S 2100?S23? SS|PS?SPP (2)由公式101?Siijj4j?1110S?5有111S?63 / 11 221 2?XY?SSPPS?P?PS?PS|S? i1i11232

13、1?1?i212?1?SS?S|PSS?PPP ? 12ii2321?1?i21?1?P?PSS21?21?2121 3?SP 解：信道传输矩阵如下? 1?4 得?11?1?00?SP? 2?224?11?00 该马尔可夫信源的极限熵为：(3) ?22?P ?X|Y1122?00S|S|?SPlogSPPSH? iij?ji22?11i?j?1111322300?log?log? ?2?2 33344311 可以看出这是一个对称信道，L=4,那么信道容量为1.599?0.578? 4211?,0,0?log4?H,C?符号0.681bit? 22?符号nat?0.472L?xpyy|L?x|l

14、ogp?logijij符号0.205hart? 1j?11 (4)在稳态下：log?2?log4 2223311?bit1?符号0.811bit?logPx?logP?xlog? ? ii4444?1?i是两个相互独立的二元随机变量，其取、Y分)设X七、(16一般乘的概率相等。定义另一个二元随机变量Z=XY(0或1符号bit?0.681符号hart?0.472nat符号H?H?0.205 ?2 )积。试计算 对应的剩余度为?;ZX,HH (1) H0.811?10.189?1?1? ?1H;XY,HHXZ?11?11? (2) 0loglog? 2222?;XHYX|,HZ| (3) H0.6

15、81?2?0.3191?1? ?2HZX;YIX;,I?111?1? (4) 。0loglog? 2222?(1) 解： 1 0 Z 六、设有扰信道的传输情况分别如图所示。试求这种信道的1/4 P(Z) 3/4 信道容量。11?H,?X1bitH ? 22?31?H(2)?H,?0.8113bit ? 44?4 / 11 4/5 2/3 12/15 x 1?对2bit?XYH?1X?H1?YH (2)1/53/201/201/549/6011/60 1111?对1.51,0bit?1?HHXH?H,Z|XH?XZ? ? 1322?2222?,XYH?,H,? 2020315?bit1HXX|Y

16、?H (3)符号bit?1.404 符号?0.973nat1111?bit0.5Z|XH?H,1,0?H 符号?0.423hart? 2222?符号hart0.687bit符号?0.476natH符号Y?H?49/60,11/600.207? ?0?HYY?H?Y,Y|X?HHY?IX (4) ?符号符号?0.497HnatX|Y符号?H?XY0.216?HYhart?0.717bit ?bit?I0.3113X,Z?H0.8113Z?HZ|X0.5 (4) 为间的概率空分八、(10)设离散无记忆信源?符号X0.205?0.682bit符号?0.473natHY|X符号?HXY?Hhart x

17、xX?21?，通过干扰信道，信道输出端的接收符?(5) 0.2P0.8?符号0.00152符号?hart0.00504bit符号?H?X?H0.00349X|YnatI;XY? ?yy?Y, ，信道传输概率如下图所示。号集为21 65 yx11 61) (三 2分）选择题（共一、 10分，每小题43，其概率空间为1、有一离散无记忆信源XyxxxxXx?22411342，则其无记忆二? ?1250.25P0.1250.50?xX 中事件包含的自信息量； (6)计算信源12)=( ) H(X次扩展信源的熵X 计算信源的信息熵；(7) A、1.75比特/符号； B、3.5比特/符?号； YXH| 计

18、算信道疑义度(8) ；C、9比特/符号； D、18比特/符号。 ?2、信道转移矩阵为XY|H ；(9) 计算噪声熵P(y/x)P(y/x)0?Y1121 算收到消息后获得的平均互信息量。计(10) ?y(xxyP(/P0)0 解：?2432?x00P0y0?35nat0.223?hart?Ix?log0.80.322bit0.0969 (1) 1P(y/x)两两不相等，则该信道为其中 ij? (2) 符号0.5?符号0.722?XH?H0.8,0.2bitnat0.217?符号hart3、A、一一对应的无噪信道 转移概率：(3)B、具有并归性能的无噪信道 x y yy21C、对称信道 1/6

19、x5/6 1D、具有扩展性能的无噪信道 1/4 3/4 x23、设信道容量为C，下列说法正确的是： 联合分布：（ ） yx y y 215 / 11 A、互信息量一定不大于C 试求（1）H(X),H(Y),H(XY)。（7分） (2) H(Y|X),H(X|Y)。（5分）B、交互熵一定不小于C (3) I(Y。X)C、有效信息量一定不大于C 。（3分） (4)该信道的容量CD、条件熵一定不大于C （3分） （5）当平均互信息量达到信道容量时，接收 4、在串联系统中，有效信息量的值（ ）端Y的熵H（Y）。（A、趋于变大 2分） 计算结果保留小数点后2位,单位为比特B、趋于变小 /符号。C 、不变

20、 、不确定D四、（9分）简述平均互信息量的物理意义，并写出，则其信道容量P信道的差错率为 5、若BSC ）为：（ 应公式。 ?pH 、A分）设有离散无记忆信源，其概率分布如10六、（p? ?p1?pp1log?2 下：? B、 ?p1?Hxxxxxxx? C、X7125364? ?1111111?)(XP? 、D)?PPlog( 64464328216? 分）二、填空题（20分，每空2对其进行费诺编码，写出编码过程，求出信的位R、(7,4)线性分组码中，接受端收到分组1差错_种,数为_，伴随式S可能的值有源熵、平均码长和编码效率。 行e的长度为，系统生成矩阵_G为图案s七、信道编码（21分）

21、的矩阵，系统校验矩阵H为_行的矩阵，s H满足的关系式是。和G0001111?ss?)xP(0010011对应的信源符号x,2、香农编码中概率为?i现有生成矩阵 ?Gis?0100101 的码字应满足不等式。C的长度K?ii0010011? 3道矩为阵其道个、设有一信，信 0.250.250.5? 分）H。（21. 求对应的系统校验矩阵?s0.50.250.25，则它是信道（填对称，?、最大检错能力 2求该码字集合的最小码字距离d?0.250.50.25? 3分） 、最大纠错能力t 。（lmaxmax准对称），其信道容量是比特/信道符号。 8分）（填写下面的2. es表 s e Xxx?21

22、0000000 三、（20分）通过一个干扰?，?P(X)0.50.5? 0000001 0000010 ?y?Yy 0000100 ，信道转移矩阵为信道，接受符号集为21 0001000 31 0010000 ? 0100000 44? 1000000 13? ，求纠错译码 4、现有接收序列为(1100100)r?4?4?输出分）4。（ c6 / 11 5. 画出该码的编码电路 （4分） 则存在一种编码，当输入序列长度n足够大，使译码错(四) 误概率任意小。平均错误概率不仅与信道本身的统计特性有关，还与(12) 四、简答题（共20 分，每题10分 _有关_和_编码方法_译码规则1. 利用公式介

23、绍无条件熵、条件熵、联合熵和平均互信息 量之间的关系。 二、（9?）判断题 简单介绍哈夫曼编码的步骤2. (11) 信息就是一种消息。 （ ? ） 五、计算题（共40 分），(0)=0.2，p(1)=0.31 某信源含有三个消息，概率分别为p(12) 信息论研究的主要问题是在通信系统设计中如何实现信421? ）息传输、存储和处理的有效性和可靠性。 （ ? ?D?032。 p(2)=0.5，失真矩阵为? 率大的事件自信息量大。 ） （ ?(13) 概?120?(14) 互信息量可正、可负亦可为零。 D)。（10分）求D、D和R (maxmaxmin（ ? ） 1111?(15) 信源剩余度用来衡

24、量信源的相关性程度，信源剩余度大? 6633说明信源符号间的依赖关系较小。 ?P?，求信道2 设对称离散信道矩阵为1111?（ ? ） ?3636?(16) 对于固定的信源分布，平均互信息量是信道传递概率的容量C。（10分） 3 有一稳态马尔可夫信源，已知转移概率为p(S/ 下凸函数。 （ ?） 1S)=2/3，p(S/ S)=1。求： 211奇异码一定是唯一可译码，唯一可译码不一定是非奇(17) 非(1) 画出状态转移图和状态转移概率矩阵。 (2) 求出各状态的稳态概率。 异码。（ ?） (3) 求出信源的极限熵。 源变长编码的核心问题是寻找紧致码（或最佳码），信 (18)（20分） 霍夫曼

25、编码方法构造的是最佳码。 （五） （ ? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. 11）填空题一、（( ? ) 发表了题为“通信的数学 香农 1948(5) 年，美国数学家 理论”的长篇论文，从而创立了信息论。五、（18）.黑白气象传真图的消息只有黑色和白色两 0 (6) 必然事件的自信息是。 种，求： 次扩展信源的熵等于离散信的(7) 离散平稳无记忆信源XN1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这 的熵的N倍。 X源 个只有两个符号的信源X的数学模型。假设图上黑白消息对于离散无记忆信源，当信源熵有最大值时，满足条件 (8)?XH；出现前后没有关联，

26、求熵 为_。信源符号等概分布_ 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一 (9)3）分别求上述两种信源的冗余度，比较它们的大小并说明 的是香农编码。其物理意义。 ，那么这组码最已知某线性分组码的最小汉明距离为 3(10) 分）信源模型为（解：11个码_2_多能检测出个码元错误，最多能纠正_1_ 元错误。 ，只要待C设有一离散无记忆平稳信道，其信道容量为(11) 等的送传、于大（_C于小R_率输传信息于小或者 （2分） 于），7 / 11 分）由2）由题意可知该信源为一阶马尔科夫信源。（2 4分） 得极限状态概率 （ 分）2 分） 3 )H(X?119?1?0. 172log61(X)2

27、.H? 14?3.?pl(a)L （1分）2831.?R?0 ii 14.3L1i? )XH(?4471.?0? 22log 2?。说明：当信源的符号之间有依赖时，信源输出消12息的不确定性减弱。而信源冗余度正是反映信源符号依赖关 分）系的强弱，冗余度越大，依赖关系就越大。（2）18六、（ .信源空间为xXxxxxxx?1473562?0.010.10.18P(X)0.170.150.20.19?，试分别构造二元香农码和二元霍夫曼码，计算其平均码长 和编码效率（要求有编码过程）。 分）最大后验概率准则下，有，2）（3）八（10? 二元对称信道如图。 .13?0?1ppXHYH|X和）1若求，、

28、， 44?Y;IX ； ）求该信道的信道容量。2 8 / 11 （六） ）共6分解：1 分）5分，共40一、概念简答题（每题? 符号/7490H.X|Ybit? 什么是平均自信息量与平均互信息，比较一下这两个概念1. 的异同？ 分）分）此时输入概率分布为等概率分布。（2），（31）?18九、（个符号的离散信源，简述最大离散熵定理。对于一个有m2.阵矩有一致监督设一线性分组码具 其最大熵是多少？110001?解释信息传输率、信道容量、最佳输入分布的概念，说明3.100110H? ?平均互信息与信源的概率分布、信道的传递概率间分别是什?101011? 么关系？ 共有多少码字？1）求此分组码n=?,

29、k=?对于一个一般的通信系统，试给出其系统模型框图，并结4. 。2）求此分组码的生成矩阵G 合此图，解释数据处理定理。 ）写出此分组码的所有码字。3），求出伴随式并给出翻译结1010014）若接收到码字（写出香农公式，并说明其物理意义。当信道带宽为5. 果。 30dB时求信道容量。，信噪比为5000Hz 8个码字。（3分）解：1）n=6,k=3,共有 解释无失真变长信源编码定理。6.?CCCC?CCCTT0HC? 由得）设码字2024135 7.解释有噪信道编码定理。0?C?C?C?021?什么是保真度准则？对二元信源 8.0?C?C?C?043 ?0C?C?C?C? ?5031 分）3（时，其失真矩阵，求a0?CCC 令监督位为，则有021 ？率失真函数的和CC?C?325?C?C?C? 10分，共60分）二、综合题（每题451?CC?C?043 分）（3 1.黑白气象传真图的消息只有黑色和白色两种，求： 0