信息论典型例题

X%1x1

1.设信源［p(x)」—［o-604)通过一干扰信道，接收符号为Y={yi,y2},信道转移矩阵

一51-

--

66

13

--

44

为■-

信源X中事件X/和事件X2分别包含的自信息量；

z2\

\(/)收到消息)4“2诟，获得的关于方公/⑵的信息量;

Z3\

K(z)信源X和信宿丫的信息煽；

(z4)\

\/信道疑义度〃伍和噪声熔H(Y/X)；

lz5)\

\/接收到信息y后获得的平均互信息量。

角

1

2

3

4

5

2.设二元对称信道的传递矩阵为L33」

⑴假设"@=3/4,P(1)=1/4,求H(X),H(X/Y),“"比和l(X;Y)}

(2)求该信道的信道容量及其到达信道容量时的输入概率分布；

解：

33I|

H(X)=-gp(xj=-(—xlog2—+—xlog2—)=().811bit!symbol

H(y/X)=-ZZP(x)P(yJ七)log〃(匕/七)

32,231,1i1112,2,0

=-(z-xTlgT+-xTlgT+-xTlgT+-xTlgT)Xx>OgJO

433433433433

=0.918bit/symbol

MM)=P(MM)+pGy)=p($)P(M/司)+〃(％2)p(y//)=—x—।—x—=0.5833

4343

3112

p(力)=P(M%)+P(*2y2)=P(X)P(%/X)+P(x2)P()'2/£)=;x；+:X；=0.4167

4343

H(Y)=-XP(X)=-(0.5833xlog20.5833+0.4167xlog20.4167)=0.980bit/symbol

I(X-Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)

H(X/Y)=H(X)-H(Y)+H(y/X)=0.811-0.980+0.918=0.749bit/symbol

1)/(X;Y)="(X)—”(X/Y)==0.811—0.749=0.062bitIsymbol

2)

3.黑白气象图的消息只有黑色和白色两种，即信源后［黑，白}。设黑色出现的概率为

P(黑)=0.3,白色出现的概率为/Y初二0.7o

(1)假设图上黑白消息出现前后没有关联，求熔，㈤；

(2)假设消息前后有关联，其依赖关系为ZY白/白)=0.9,P(黑/白)=0.1,P(白/黑)二

02,P(黑/黑)=0.8,求此一阶马尔可夫信源的熠儿㈤；

r：

(i)

⑵

4.某一无记忆信源的符号集为{0,1},P(O)=1/4,P(1)=3/4o

⑴求符号的平均燃；

(2)有100个符号构成的序列，求某一特定序列〔例如有小个“0”和〔100-加〕个“1”〕

的自信息量的表达式；

(3)计算⑵中序列的炳。

解：

⑴

(2)

(3)

5.一个高斯信道，输入信噪比〔比率〕为3。频带为3kHz,求最大可能传输的消息率。假

设信噪比提高到15,理论上传送同样的信息率所需的频带为多少？

解：

6.试求以下各信道矩阵代表的信道的容量:

'100-

100

_0010-010

1000010

0001001

(1)[P]=0100(2)[P]=001_

0.10.20.30.4000000­

00000.30.70000

(3)[P]=0000000.40.20.10.3

解：

1)

这个信道是一一对应的无干扰信道

2)

这个信道是归并的无干扰信道

3)

这个信道是扩展的无干扰信道

7.设信源|_P(X)」[0.20.19().18().17().15().10.01

⑴Q求信源煽，㈤；

B编二进制香农码;

计算平均码长和编码效率。

松

⑴

⑵

XiP(Xi)p«(Xi)ki码字

X]0.203000

X20.190.23001

X30.180.393Oil

Xi0.170.57310D

Xs0.150.743101

X60.10.8941110

X70.01|0.99|71111110

⑶

X

王ix3匕占4M

8.对信源LP（X）」0.20.190.180.170.150.10.01编二进制费诺码，计算编码效率。

解：

Xip(x1)编码码字ki

Xi0.20()02

X20.19000103

1

X30.181Oil3

Xf0.170102

X0.1501103

51

X60.11011104

1

X70.011mi4

X毛

9.对信源[尸（X）」0.20.190.180.170.150,1。＜用编二进制和三进制哈夫曼码，计

算各自的平均码长和编码效率。

解：

二进制哈夫曼码：

P(Xi)

Xi编码码字kt

Sf}1

S50.610

Si0.391

S30.350

S20.261

X,0.20102

X20.191112

x30.18()0003

x>0.1710013

x50.1500103

Si0.111

X60.1c()1104

x-0.011()1114

10010I

10.设线性分组码的生成矩阵为G=010110,求:

00101I

[1〕此〔n,k〕码的n=?k=?,写出此（n,k〕码的所有码字。

〔2〕求其对应的一致校验矩阵H。

（3〕确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。

14〕假设接收码字为000110,用伴随式法求译码结果。

解：1）n=6,k=3,由C=mG可得所有码字为:

000000,001011,010110,011101,100101,101110,110011,111000

101

2）此码是系统码，由G知，P=110,那么

011

3）由H可知，其任意2列线性无关,而有3列线性相关，故有dmin=3,能纠一位错。

错误图样E伴随式S-£7/7

100000101

010000110

001000011

000100100

000010010

000001001

4）由5=田丁=110知E=010000,那么R=〃+E=010110

11.〔7,4〕循环码的生成多项式以工）=/+工+1,求：

〔1〕求该码的编码效率？

12］求其对应的一致校验多项式〃*）

13］写出该码的生成矩阵，校验矩阵