武汉理工信息理论编码试卷(07电信科)

第第页武汉理工信息理论编码试卷(07电信科)武汉理工信息理论编码试卷(07电信科)

武汉理工高校考试试题纸(A卷)课程名称题号题分一20二24信息理论与编码三10四46五六七专业班级电信科0701-0702八九十总分100

备注:

同学不得在试题纸上答题(含填空题、选择题等客观题

一、填空题(共20分，每题2分)1.输出的是单个符号的消息，不同时刻发出的符号之间彼此统计独立，而且符号集中的符号数目是有限的或可数的信源是______________信源。2.当信道给定，平均互信息量是信源概率分布的__________函数。3.在一组码字集合中全部的码字长度都相同，称这组码为________码。4.对于给定信源，使平均码长达到最小的编码方法，称为最正确编码，得到的码集称为______。5.一个号码锁有3个数字，每个数字可设置为0~99(含0和99)中的任何一个整数值，打开该锁所需的信息量为__________bit。6.掷5次匀称的钱币，当被告之结果是“正反正反反”时，所获的信息量_______bit。7.同时掷两个正常的骰子，也就是各面呈现的概率都是1/6,那么“两个1同时涌现”这一事项的自信息量为比特。8.假设有一信源，其符号集的元素个数为n,此信源通过一个具有一一对应关系的无噪信道，这个信道的信道容量为__________。9.假如对一个单符号离散无记忆信道进行N次扩展，那么扩展后的信道容量CN与原来信道的信道容量C之间的关系是__________。10.将循环码0010111循环左移3位后的码字为。二、简答题(共24分)1.在通信系统中信源编码的主要功能是什么?(6分)2.写出Fano不等式，并说明其物理含义。分)(63.目前对卷积码有哪些描述方法？这几种描述方法各从什么角度考虑的？(6分)4.试阐述变长编码定理。分)(6三、证明题(10分)设两个信源分布q1(*)和q2(*),分别对应的平均互信息量为I1(*;Y)和I2(*;Y),记概率分布q(*)=θq1(*)+(1-θ)q2(*)(式中0θ1),对应平均互信息量I(*;Y),假设I(*;Y)是信源概率分布的n型凸函数，证明θI1(*;Y)+(1-θ)I2(*;Y)I(*;Y)。

武汉理工信息理论编码试卷(07电信科)

四、计算题(共46分)1.设某班同学在一次考试中获优(A)、良(B)、中(C)、及格(D)和不及格(E)的人数相等。当老师通知某甲：“你没有不及格”,甲获得了多少比特信息？为确定自己的成果，甲还需要多少信息量？(8分)*2.给定信源分布q(**1)0.3*20.5

4*3,失真测度矩阵[d]10.20

202

01,求R(D)的定义域4

和值域。分)(83.设二元对称信道的转移矩阵为2/31/31/3,2/3

(1)假设信源分布p(*10)3/4

,p(*21)1/4,求H(*),H(*Y),H(Y*)和I(*;Y)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。(10分)(注：log231.585,log252.3219,log272.8074)14、设线性分组码的生成矩阵G0001000111001110,求：1

(1)此(n,k)码的n=?k=?,写出此(n,k)码的全部码字；(2)求其对应的校验矩阵H。(3)确定最小码距，问此码能订正几位错？列出其能纠错的全部错误图样和对应的伴随式；(4)假设接收码字为000110,用伴随式法求译码结果。(10分)

5、设信源

*

*1p(*)12

*21/4

*31/8

*41/16

*51/32

*61/64

*71/128

。1/128*8

(10分)

1)求信源熵H(*);2)编二进制香农码和二进制费诺码，计算二进制香农码和费诺码的平均码长和编码效率；

武汉理工信息理论编码试卷(07电信科)

武汉理工高校教务处

试题标准答案及评分标准用纸

课程名称信息理论与编码〔A卷〕

一、填空题〔共20分，每题2分〕1．离散无记忆2．上凸3．等长4．最正确码5．log(

1100

)

3

6．5

7．Log36或者5.178．logn9．CNNC

10.0111001

二、简答题〔共24分〕

1.〔6分〕答：信源编码主要实现以下两个功能：将信源符号变换成适合信道传输的符号；压缩信源冗余度，提高传输率。2．〔6分〕答：设信道输入符号*和输出符号Y取自同一符号集A={a1,a2,…,ak}，那么传输过程中的错误概率pe和信道疑义度H(*︱Y)之间满意以下关系式H(*︱Y)H2(pe)+pelog(k-1)；Fano不等式的物理意义：〔1〕H2(pe)为是否判对的疑义度；〔2〕假如判决出错〔概率为pe〕，错在k-1中的符号中的一个，疑义度不会超过log(k-1).3．〔6分〕答：卷积码的描述方法有：转移函数矩阵、状态流图、网格图。转移函数矩阵描述方法将矩阵、多项式与编码器结构的关系描述的很清晰，状态流图揭示了卷积码的内在特性，网格图将状态转移开展于时间轴上，使编码的过程显示的很清晰。

**1

4．〔6分〕答：答：给定熵为H〔*〕的离散无记忆信源

H(*)q(*1)*

其L次扩展信源

H(*

*1

)q(*1)

*2q(*2)

*Mq(*ML

*2q(*2)

，q(*M)*M

，给定有D个元素的码符的熵记为H〔*〕

)

H(*)logD

nLLH(*)logD

1L

号集，对扩展信源进行编码，总可以找到一种惟一可译码，使码长nL满意L为信源序列长度。。三、证明题〔10分〕

由于p(*iyj)q(*i)p(yj*i)[q1(*i)(1)q2(*i)]p(yj*i)

p1(*iyj)(1)p2(*iyj)〔4分〕

，

武汉理工信息理论编码试卷(07电信科)

I1(*;Y)(1)I2(*;Y)I(*;Y)

i

j

p1(*iyj)log

p(yj*i)w1(yj)

(1)

i

j

p2(*iyj)log

p(yj*i)w2(yj)

i

j

[p1(*iyj)(1)p2(*iyj)]logp1(*iyj)log

p1(*iyj)

w(yj)w1(yj)w(yj)w1(yj)

(1)

i

p(yj*i)w(yj)

〔6分〕

w(yj)w2(yj)w(yj)w2(yj)

i

j

j

p2(*iyj)log

p2(*iyj)

log

i

j

(1)log

i

j

j

w1(yj)w(yj)

w1(yj)

(1)

j

w2(yj)w(yj)

w2(yj)

0

四、计算题〔共46分〕1、〔共8分〕解：依据题意，“没有不及格”或“pass”的概率为

Ppass1

1545

因此当老师通知某甲“没有不及格”后，甲获得信息

IpasslogPpass

log

45

0.322bits

在已知“pass”后，成果为“优”〔A〕，“良”〔B〕，“中”〔C〕和“及格”〔D〕的概率相同：

PscoreP(A|pass)P(B|pass)P(C|pass)P(D|pass)

1

4

为确定自己的成果，甲还

需信息

IscorelogPscorelog

14

2bits

〔评分标准：每问计算正确得4分〕

2．〔8分〕解：定义域Dmin=0

I

Dma*

minq(*

j

i1

i

)dijmin1{.7,1,1.3}1(4分)

值域Rmin(D)=0，Rma*(D)H(*)〔4分〕

2

3．〔10分〕解：1〕p(y1=0)=q(*i)p(y1*i)=

i1

2

34

23

14

13

712

；

p(y2=1)=q(*i)p(y2*i)=

i1

34

13

14

23

512

p(*0y0)6/7；p(*1y0)1/7；p(*0y1)3/5；p(*1y1)2/5H(*)p(*)logp(*)0.811比特/符号

*

武汉理工信息理论编码试卷(07电信科)

H(*)q(*)p(y*)logp(*y)0.75比特/符号

*

Y

H(Y*)

*

q(*)p(y*)log

Y

p(y*)0.918比特/符号

I(*;Y)H(*)H(*Y)0.06比特/符号〔6分〕

2〕Cma*I(*;Y)log

2

1122

Klog(K1)H2log2(loglog)0.082bit/symbol

3333

输入概率分布p(*1)=p(*2)=0.5〔4分〕

4．解：〔1〕n=6,k=3，由C=mG可得全部码字为：

000000，001011，010110，011101，100101，101110，110011，111000〔3分〕1

2〕此码是系统码，由G知，P=1

01

T

H[PI]0

1

110

011

100

010

011

1

0，得1

0

0〔3分〕1

3〕由H可知，其任意两列线性无关，而有3列线性相关，故dmin=3，能订正一位错误。错误图样e伴随式seH000001

000010000100001000010000100000(4)由syH

T

T

001010100011110

101〔2分〕

110知e=010000，那么译码结果c=y+e=010110〔2分〕

8

5〔10分〕〔1〕H(*)=-p(*i)log

i1

2

p(*i)=1.98(b/s)〔2分〕

〔2〕二进制香农码

*1*2*3*4*5*6*7*8

010110111011110111110111111011111111〔3分〕

二进制费诺码

*1*2*3*4*5*6*7*8

0101101110111101111