2022年信息论与编码试卷-信息论与编码试卷题目及答案

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比拟一下这两个概念的异同

平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。

.

2-1

平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不

确定性减少的量；表示通信前后整个系统不确定性减少的量。

=-汽汽PQ.）log勺'彳）

2.简述最大离散燧定理。对于一个有m个符号的离散信源，其最大燧是多少

最大离散端定理为：离散无记忆信源，等概率分布时燧最大。

最大嫡值为%-=l0g2也

3.解释信息传输率、信道容量、最正确输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分

别是什么关系

信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能到达的最大信息传输率。信息传

输率到达信道容量时所对应的输入概率分布称为最正确输入概率分布。

平均互信息是信源概率分布的n型凸函数，是信道传递概率的u型凸函数。

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

数据处理定理为：串联信道的输入输出x、Y、z组成一个马尔可夫链，且有1（X；Z）4I（X；y）,

Z（Z,Z）<Z（K;Z）o说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。香农公式为

C（P]

G=lim—=^log21+----bills

9Tl既印J，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于

信噪比和带宽。

PP

由10场初后-30dB得丽7-lOOO,那么4=50001og2（1+1000）=49836biMs

6.解释无失真变长信源编码定理。只要Llog2阳，当N足够长时，一定存在一种无失真编码。

7.解释有噪信道编码定理.答：当R<C时，只要码长足够长，一定能找到一种编码方法和译码规那么，使译码错

误概率无穷小。

,01[0a

D=

8.什么是保真度准那么对二元信源1/（"）一°31-可，其失真矩阵P求aX）时率失真函数的

%和加答：1）保真度准那么为：平均失真度不大于允许的失真度。

2）因为失真矩阵中每行都有一个0,所以有为m二°,而Aw=min｛（l-aj）a'必a｝。

二、综合题（每题10分，共60分）

1.黑白气象图的消息只有黑色和白色两种，求：

1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消

息出现前后没有关联，求嫡耳（了）：

2）假设黑白消息出现前后有关联，其依赖关系为：尸旧伯）=0.9,尸（黑伯）=0.1,F©，黑）=0.2,

尸（黑/黑）=0.8,求其嫡玛阳;

%=黑巴=白

答：1）信源模型为IS3°-7.

2

H（幻=-2/（♦）侬2产（4）=0881如/符号

2-1

咱一

产依）=£尸（9）尸@/。,）,

々3

J-1产（黑）=1

2）由〔尸以）+尸@）=1得3

22

H2（X）=?依*（%./.）Iog2pgjaj=0.5533加/符号

那么i-lJj

2.二元对称信道如右图。

31

尸（0）=7P（I）=-H（XI（XY

i）假设4,4,求”（N）和/⑷R

2）求该信道的信道容量和最正确输入分布。

答：1）H（㈤=0.8113加/符号

/(£¥)=0.0616与Z/符号

0=0,082历"符号

Z)，最正确输入概率分布为等概率分布。

飞,

s\$2%$4S5S6S?58

3.信源空间为［产⑹0.40.20.10.10.050.050.050.05

试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

答：1）二元码的码字依序为：10,11,010,011,1010,1011,1000,1001c

平均码长4=2.6加〃符。,编码效率%97

2）三元码的码字依序为：1,00,02,20,21,22,010,01k

平均码长4二1.7切/符编码效率%=°936

1

9=4

4尸(町)=：

产(%)=1

4.设有一离散信道，其信道传递矩阵为1362，并设I4,试分别按最小错误概率准那么与坡大

似然译码准那么确定译码规那么，并计算相应的平均错误概率。

/优)=再

,小2)”21

答：1)最小似然译码准那么下，有、?83)=*3,42

,仇)=再

《9(>2)=电I]

2)最大错误概率准那么下，有〔尸仇)=XZ,自24

10000111

01000100

00100010

00010001

00001111

5-(8,5)线性分组码的生成矩阵为

求：1)输入为全00011和10100时该码的码字；2)最小码距。

6.设某，-信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5x10—6mw/Hz。试求:

(1)无过失传输需要的最小输入功率是多少

(2)此时输入信号的最大连续燧是多少写出对应的输入概率密度函数的形式。

<C=J71og2(l+-^--)

7.答：1)无错传输时，有拉髀

33

5.6X1Q=4xl0log2(l+------f---

即5xl0^x4xl03

那么尸20.0328羽w

u|log2(2^P)="5.4切"自由度

2）在产=0.0328的时，最大燃■

13

（）0.06S6X10T

px=-3

对应的输入概率密度函数为7O.2O6X1O

■31)=再

尸(>2)=芯2

P=11

9(>3)=X>,4244^=2

2）最大错误概率准那么下，有

2?<C=J71og2（l+

6.答：1）无错传输时，有

P

333）

5.6xlO=4xl0log2(l+

即5X10-9X4X10

那么尸20.0328

n_nA29Q4=