上课信息论第2章习题

习题课2.3

掷一对无偏的骰子，若告诉你得到的总的点数为：(a)7；(b)12。试问各得到了多少信息量?[2.3的解答]

这是求事件的自信息量。记随机变量X=“总的点数”，则

2

3

4

5

6

7

8

9

10

11

12X

~

1

2

3

4

5

6

5

4

3

2

1

36

36

36

36

36

36

36

36

36

36

36所以，事件“X=7”的自信息量为log2(36/7)；事件“X=12”的自信息量为log2(36)。2021/7/151习题课2.4

经过充分洗牌后的一付扑克(含52张牌)，试问：任何一种特定排列所给出的信息量是多少?若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?[2.4的解答]

这是求事件的自信息量。(a)

任一特定排列的概率都是(1/52!)，所以自信息量为log2(52!)；(b)

从52张牌中抽取13张牌，共有种抽取方法。而使得所给出的点数都不相同的抽取方法有所以事件“点数都不相同”的概率为种。，自信息量为52C

1341352413

/

C

13log2021/7/152/413

)

。2

52(C

13习题课x2021/7/153P

(

X

=

x)2.6

园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?[2.6的解答]

共有12！种不同的排列。满足“没有两棵梧桐树相邻”的排列个数为8×1+7×2+6×3+5×4+4×5+3×6+2×7+1×8=120（为什么？）记X=“树的排列情况”，Y=“梧桐树有无相邻位置”。则本题要求半平均互信息量I

(Y

=

无;

X

)

=

P

(

X

=

x

|

Y

=

无)

log

P

(

X

=

x

|

Y

=

无)2021/7/154习题课X有12！个不同的事件x，每个事件x的概率为1/(12！)。Y有2个不同的事件，“Y=无”的概率为120/(12！)，“Y=有”的概率为(12！-120)/(12！)。以下要计算：在“Y=无”的条件下，X=x（

x为某个特定排列）的条件概率P(X=x|Y=无)。若在x这个特定排列中，梧桐树有相邻位置，则P(X=x|Y=无)=0；若在x这个特定排列中，梧桐树无相邻位置，则11201=

12

!

120

12

!

=

无

)

=P

(

X

=

x

|

Y2021/7/155习题课(1

/12!)

1

log

(1/120)x=

120

log

(1

/120)120

(1/12!)=

21.92296

(bits

)=

1

log

(1/120)120

(1/12!)=P(

X

=

x)=P(

X

=

x)1x跑遍那些使得“Y

=无”的排列x跑遍那些使得“Y

=无”的排列120x跑遍那些使得“Y

=无”的排列P(

X

=

x

|

Y

=

无)

log

P(

X

=

x

|

Y

=

无)I

(Y

=

无;

X

)

=

P(

X

=

x

|

Y

=

无)

log

P(

X

=

x

|

Y

=

无)习题课2021/7/1562.7

某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市。所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。当己知考生来自本市时，给出多少关于考生是否被录取的信息?当已知考生学过英语时，给出多少有关考生是否被录取的信息?以x表示是否被录取，y表示是否为本市学生，z表示是否学过英语，x、y和z取值为0或1。试求H(x)，H(y|x)，H(z|y)。[2.7的解答](a)是求事件“来自本市”与随机变量“是否被录取”的半平均互信息量。(b)是求事件“学过英语”与随机变量“是否被录取”的半平均互信息量。以x表示是否被录取（0表示被录取，1表示未被录取），y表示是否为本市学生（0表示本市学生，1表示非本市学生），z表示是否学过英语（0表示学过英语，1表示未学过英语），则P(xyz=000)=(1/4)×(50%)×1=12.5%；P(xyz=001)=(1/4)×(50%)×0=0；P(xyz=010)=(1/4)×(50%)×(40%)=5%；P(xyz=011)=(1/4)×(50%)×(60%)=7.5%；P(xyz=100)=(3/4)×(10%)×1=7.5%；P(xyz=101)=(3/4)×(10%)×0=0；P(xyz=110)=(3/4)×(90%)×(40%)=27%；P(xyz=111)=(3/4)×(90%)×(60%)=40.5%。2021/7/157各个边际分布2021/7/158(xy)联合分布P(xy=00)=12.5%；P(xy=01)=12.5%；P(xy=10)=7.5%；P(xy=11)=67.5%。(xz)联合分布P(xz=00)=17.5%；P(xz=01)=7.5%；P(xz=10)=34.5%；P(xz=11)=40.5%。x概率分布P(x=0)=25%；P(x=1)=75%。y概率分布P(y=0)=20%；P(y=1)=80%。z概率分布P(z=0)=52%；P(z=1)=48%。(yz)联合分布P(yz=00)=20%；P(yz=01)=0；P(yz=10)=32%；P(yz=11)=48%。习题课8=

5log

5

-

1

=

0.4583I

(

x;

y

=

0)=

P

(

xy

=

00

)

log

P

(

xy

=

00

)

+

P

(

xy

=

10

)

log

P

(

xy

=

10

)

P

(

y

=

0)

P

(

x

=

0)

P

(

y

=

0)

P

(

y

=

0)

P

(

x

=

1)

P

(

y

=

0)I

(

x;

z

=

0)=

P

(

xz

=

00

)

log

P

(

xz

=

00

)

+

P

(

xz

=

10

)

log

P

(

xz

=

10

)

P

(

z

=

0)

P

(

x

=

0)

P

(

z

=

0)

P

(

z

=

0)

P

(

x

=

1)

P

(

z

=

0)=

35

log

35

+

69

log

23

=

0.143104

26

104

262021/7/159习题课100

75

100100

25

100

75+

log

=0.8075H(x)

=

25

logH(y

|

x)=

P(xy

=00)log

P(x

=0)

+P(xy

=01)log

P(x

=0)

+P(xy

=10)log

P(x

=1)

+P(xy

=11)log

P(x

=1)P(xy

=00)

P(xy

=01)

P(xy

=10)

P(xy

=11)=???H(z

|

y)=

P(yz

=00)log

P(y

=0)

+P(yz

=01)log

P(y

=0)

+P(yz

=10)log

P(y

=1)

+P(yz

=11)log

P(y

=1)P(yz

=00)

P(yz

=01)

P(yz

=10)

P(yz

=11)=???2021/7/1510习题课2021/7/15112.8

在A、B两组人中进行民意测验，组A中的人有50%讲真话(T)，30%讲假话(F)，20%拒绝回答(R)。而组B中有30%讲真话，50%讲假话和20%拒绝回答。设选A组进行测验的概率为p，若以I(p)表示给定T、F或R条件下得到的有关消息来自组A或组B的平均信息量，试求I(p)的最大值。[2.8的解答]I(p)是什么信息量？记

X=“选择的组号”，X的事件有A和B；Y=“得到的回答”，Y的事件有T、F、R。则I(p)=I(X;Y)。习题课2021/7/1512计算X的概率分布：P(X=A)=p；P(X=B)=1-p。计算Y的概率分布：P(Y=T)=p×50%+(1-p)×30%=30%+p×20%；P(Y=F)=p×30%+(1-p)×50%=50%-p×20%；P(Y=R)=p×20%+(1-p)×20%=20%。计算联合概率分布：P(XY=AT)=50p/100；P(XY=BT)=30(1-p)/100；P(XY=AF)=30p/100；P(XY=BF)=50(1-p)/100；P(XY=AR)=20p/100；P(XY=BR)=20(1-p)/100。习题课I

(

p)

=

1

log

5

+

3

log

32

10-(

p

+

3(1-

p))

log(3

+

2

p)

-

1-

p

+

3

p

)

log(5

-

2

p)(2

10

2

10求max

I

(p)，应该先计算I

'(p)，令I

'(p)=0，求出p。p计算量比较大。结果为

p

=

0.5，I

(0.5)

=

1

log

5

+

3

log

3

-

8

=

0.03645。2

10

5请注意，这个问题在第四章（信道及其容量）中极易解决（准对称信道）2021/7/1513习题课2021/7/15142.9

随机掷三颗骰子，以X表示第一颗骰子抛掷的结果，以Y表示第一和第二颗骰子抛掷的点数之和，以Z表示三颗骰子的点数之和。试求H(Z|Y)、H(X|Y)、H(Z|XY)，H(XZ|Y)和H(Z|X)。[2.9的解答]求H(Z|Y)，必须先求(YZ)的联合概率分布和Y的概率分布；求H(X|Y)，必须先求(XY)的联合概率分布和Y的概率分布；求H(Z|X)，必须先求(XZ)的联合概率分布和X的概率分布；求H(Z|XY)，必须先求(XYZ)的联合概率分布和(XY)的联合概率分布；求H(XZ|Y)，必须先求(XYZ)的联合概率分布和Y的概率分布。(XYZ)的联合概率分布为：

P((XYZ)=(x,y,z))=1/216；x=1~6，y=x+1~x+6，z=y+1~y+6。(XY)的联合概率分布为：

P((XY)=(x,y))=1/36；x=1~6，y=x+1~x+6。2021/7/1515习题课2021/7/1516(YZ)的联合概率分布为：P((YZ)=(2,3))=1/63，P((YZ)=(2,4))=1/63，

…，

P((YZ)=(2,8))=1/63，P((YZ)=(3,4))=2/63，P((YZ)=(3,5))=2/63，

…，

P((YZ)=(3,9))=2/63，…，P((YZ)=(6,7))=5/63，P((YZ)=(6,8))=5/63，

…，

P((YZ)=(6,12))=5/63，P((YZ)=(7,8))=6/63，P((YZ)=(7,9))=6/63，

…，

P((YZ)=(7,13))=6/63，P((YZ)=(8,9))=5/63，P((YZ)=(8,10))=5/63，

…，

P((YZ)=(8,14))=5/63，…，P((YZ)=(11,12))=2/63，P((YZ)=(11,13))=2/63，

…，

P((YZ)=(11,17))=2/63，P((YZ)=(12,13))=1/63，P((YZ)=(12,14))=1/63，…，P((YZ)=(12,18))=1/63。2021/7/1517习题课2021/7/1518(XZ)的联合概率分布为：P((XZ)=(1,3))=1/63，P((XZ)=(1,4))=2/63，…，P((XZ)=(1,7))=5/63，P((XZ)=(1,8))=6/63，P((XZ)=(1,9))=5/63，…，P((XZ)=(1,12))=2/63，P((XZ)=(1,13))=1/63；P((XZ)=(2,4))=1/63，P((XZ)=(2,5))=2/63，…，P((XZ)=(2,8))=5/63，P((XZ)=(2,9))=6/63，P((XZ)=(2,10))=5/63，…，P((XZ)=(2,13))=2/63，P((XZ)=(2,14))=1/63；…，P((XZ)=(6,7))=1/63，P((XZ)=(6,8))=2/63，…，P((XZ)=(6,12))=5/63，P((XZ)=(6,13))=6/63，P((XZ)=(6,14))=5/63，…，P((XZ)=(6,17))=2/63，P((XZ)=(6,18))=1/63。习题课2021/7/1519习题课2021/7/1520X的概率分布：P(X=x)=1/6，其中x=1~6。Y的概率分布：当y=2~7时，P(Y=y)=(y-1)/36；当y=8~12时，P(Y=y)=(13-y)/36

。Z的概率分布：

P(Z=3)=1/216，P(Z=4)=3/216，P(Z=5)=6/216，P(Z=6)=10/216，P(Z=7)=15/216，P(Z=8)=21/216，P(Z=9)=25/216，P(Z=10)=27/216，P(Z=11)=27/216，P(Z=12)=25/216，P(Z=13)=21/216，P(Z=14)=15/216，P(Z=15)=10/216，P(Z=16)=6/216，P(Z=17)=3/216，P(Z=18)=1/216。习题课2021/7/1521X值123456概率1/61/61/61/61/61/6Y值23456789101112概率1/362/363/364/365/366/365/364/363/362/361/36Z3456789101112131415161718概率1361015212527272521151063163636363636363636363636363636363将以上的概率分布代入以下的计算公式：(

yz

)P

(YZ

=

yz

)H

(

Z

|

Y

)

=

P

(YZ

=

yz

)

log

P

(Y

=

y

)

(

xy

)P

(

XY

=

xy

)H

(

X

|

Y

)

=

P

(

XY

=

xy

)

log

P

(Y

=

y

)

P

(

XYZ

=

xyz

)=

xyz

)

log

P

(

XY

=

xy

)

H

(

Z

|

XY

)

=

P

(

XYZ(

xyz

)(

xz

)P

(

XZ

=

xz

)H

(

Z

|

X

)

=

P

(

XZ

=

xz

)

log

P

(

X

=

x

)

(

xyz

)2021/7/1522P

(

XYZ

=

xyz

)H

(

XZ

|

Y

)

=

P

(

XYZ

=

xyz)

log

P

(Y

=

y

)

习题课12021/7/15231=

log

6

216

36

log

1

=

6

x

+6y

+6x

=1

y

=

x

+1

z

=

y

+1

216(

xyz

)P(

XYZ

=

xyz

)H

(Z

|

XY

)

=

P(

XYZ

=

xyz

)

log

P(

XY

=

xy

)

2021/7/1524--

-

=

=

1212712673636log36=

log

216

-

361-

log361=

log

216

-

loglog3611=

log

2161log2161log

2162161

2161log216

y

=

81y

=

2x

=

y

-

6y

=

2y

-1x

=16

x

+

6x

=1

y

=

x

+16

x

+

6y

+

6x

=1

y

=

x

+1

z

=

y

+116

x

+

6y

+

6x

=1

y

=

x

+1

z

=

y

+16

x

+

6y

+

6x

=1

y

=

x

+1

z

=

y

+1(

xyz

)P

(Y

=

y

)=

log

216

-

P

(Y

=

y

)

logy

=

2log13

-

yy

=

813

-

yy

-

1y

-

11P

(Y

=

y

)P

(Y

=

y

)36P

(Y

=

y

)P

(Y

=

y

)1

P

(Y

=

y

)P

(

XYZ

=

xyz

)H

(

XZ

|

Y

)

=

P

(

XYZ

=

xyz

)

log

P

(Y

=

y

)

习题课2021/7/15252.10

设有一个系统传送10个数字：0,1,…,9。奇数在传送时以0.5的概率错成另外的奇数（？！），而偶数总能正确接收。试求收到一个数字平均得到的信息量。[2.10的解答]问题一：这是什么信息量？

“收到一个数字平均得到的信息量”似乎指的是“收到的数字”这个随机变量的平均自信息量（熵）：H(收到的数字)。“发送一个数字x时，所给出的收到数字的平均信息量”应该指的是半平均互信息量：I(发送的数字=x；收到的数字)。“发送数字时，所给出的收到数字的平均信息量”应该指的是平均互信息量：I(发送的数字；收到的数字)。习题课2021/7/1526问题二：既然是求“收到的数字”这个随机变量的平均自信息量（熵），那么“收到的数字”的概率分布如何计算？假设“发送的数字”服从等概分布：P(发送的数字=j)=1/10，j=0~9则P(收到的数字=偶数x)=P(发送的数字=偶数x)=1/10；P(收到的数字=奇数x)=P(发送的数字=奇数x)×0.5+P(发送的数字=另个奇数u1)×0.125+P(发送的数字=另个奇数u2)×0.125+P(发送的数字=另个奇数u3)×0.125+P(发送的数字=另个奇数u4)×0.125=1/10(bits)习题课这就是说，当假设“发送的数字”服从等概分布时，“收到的数字”服从等概分布。H(收到的数字)=log10。I(发送的数字；收到的数字)42021/7/1527=

(

1

+

log 5

)(

bits

)·

0

.

125

·

log

(1

/

10

)

·

0

.

125(1

/

10

)(

1

/

10

)+

20

·

110(1

/

10

)

·

0

.

5(1

/

10

)(

1

/

10

)·

0

.

5

·

log1

·

1

·

log

(1

/

10

)10 (1

/

10

)(

1

/

10

)110=

5

·+

5

·习题课2021/7/15282.11

令{ul,u2,…,u8}为一等概消息集，各消息相应被编成下述二元码字:ul=0000，u2=0011，u3=0101，u4=0110u5=1001，u6=1010，u7=1100，u8=1111码字通过转移概率为p的BSC传送。试求接收的第一个数字0与ul之间的互信息量。接收的前二个数字00与ul之间的互信息量。接收的前三个数字000与ul之间酌互信息量。接收的前四个数字0000与ul之间的互信息量。[2.11的解答]

显然是求事件之间的（非平均）互信息量。首先什么是“转移概率为p的BSC”？解释如下（详见第四章）。习题课2021/7/1529“转移概率为p的BSC”是这样一种输入/输出机制：在一个固定时刻，P(输出0|输入0)=P(输出1|输入1)=1-pP(输出1|输入0)=P(输出0|输入1)=p在不同时刻的输入/输出操作是相互独立的：P(t1t2…tn时刻输出v1v2…vn

|t1t2…tn时刻输入u1u2…un)=P(t1时刻输出v1|t1时刻输入u1)×P(t2时刻输出v2|t2时刻输入u2)×…×P(tn时刻输出vn|tn时刻输入un)习题课2021/7/1530(a)P(接收的第一个数字为0)=P(发送的第一个数字为0)×P(接收的第一个数字为0|发送的第一个数字为0)+P(发送的第一个数字为1)×P(接收的第一个数字为0|发送的第一个数字为1)=P(发送的第一个数字为0)×(1-p)+P(发送的第一个数字为1)×p=P(发送ul或u2或u3或u4)×(1-p)+P(发送u5或u6或u7或u8)×p=(1/2)×(1-p)+(1/2)×p=1/2。习题课P(发送ul)=1/8。P(发送ul，且接收的第一个数字为0)=P(发送ul)×P(接收的第一个数字为0|发送ul)=P(发送ul)×P(接收的第一个数字为0|发送的第一个数字为0)=(1/8)×(1-p)。因此，I(发送ul；接收的第一个数字为0)=log

P(发送u1，且接收的第一个数字为0)P(发送u1

)P(接收的第一个数字为0)=

log{2

-

2

p}2021/7/15312021/7/15

32(b)P(接收的前两个数字为00)=P(发送的前两个数字为00)×P(接收的前两个数字为00|发送的前两个数字为00)+P(发送的前两个数字为01)×P(接收的前两个数字为00|发送的前两个数字为01)+P(发送的前两个数字为10)×P(接收的前两个数字为00|发送的前两个数字为10)+P(发送的前两个数字为11)×P(接收的前两个数字为00|发送的前两个数字为11)=P(发送ul或u2)×(1-p)2+P(发送u3或u4)×(1-p)p+P(发送u5或u6)×p(1-p)+P(发送u7或u8)×p2=1/42021/7/1533习题课P(发送ul，且接收的前两个数字为00)=P(发送ul)×P(接收的前两个数字为00

|发送ul)=P(发送ul)×P(接收的前两个数字为00

|发送的前两个数字为00)=(1/8)×(1-p)2。因此，I(发送ul；接收的前两个数字为00)=log

P(发送u1，且接收的前两个数字为00)P(发送u1

)P(接收的前两个数字为00)=

2

log{2

-

2

p}2021/7/15

34(c)P(接收的前三个数字为000)=P(发的前面为000)×P(收的前面为000|发的前面为000)+P(发的前面为001)×P(收的前面为000|发的前面为001)+P(发的前面为010)×P(收的前面为000|发的前面为010)+P(发的前面为011)×P(收的前面为000|发的前面为011)+P(发的前面为100)×P(收的前面为000|发的前面为100)+P(发的前面为101)×P(收的前面为000|发的前面为101)+P(发的前面为110)×P(收的前面为000|发的前面为110)+P(发的前面为111)×P(收的前面为000|发的前面为111)=P(发u1)×(1-p)3+P(发u2)×p(1-p)2+P(发u3)×p(1-p)2+P(发u4)×p2(1-p)+P(发u5)×p(1-p)2+P(发u6)×p2(1-p)+P(发u7)×p2(1-p)+P(发u8)×p3=1/82021/7/1535习题课P(发送ul，且接收的前三个数字为000)=P(发送ul)×P(接收的前三个数字为000

|发送ul)=P(发送ul)×P(接收的前三个数字为000

|发送的前三个数字为000)=(1/8)×(1-p)3。因此，I(发送ul；接收的前三个数字为000)=log

P(发送u1，且接收的前三个数字为000)P(发送u1

)P(接收的前三个数字为000)=

3

log{2

-

2

p}2021/7/15

36(d)P(接收的前四个数字为0000)=P(发u1=0000)×P(接收的前四个数字为0000

|发0000)+P(发u2=0011)×P(接收的前四个数字为0000

|发0011)+P(发u3=0101)×P(接收的前四个数字为0000

|发0101)+P(发u4=0110)×P(接收的前四个数字为0000

|发0110)+P(发u5=1001)×P(接收的前四个数字为0000

|发1001)+P(发u6=1010)×P(接收的前四个数字为0000

|发1010)+P(发u7=1100)×P(接收的前四个数字为0000

|发1100)+P(发u8=1111)×P(接收的前四个数字为0000

|发1111)=(1/8)×(1-p)4+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p2(1-p)2+(1/8)×p4=(1/8)×{(1-p)4+6p2(1-p)2+p4}2021/7/1537习题课}(1

-

p)4

+

6

p

2

(1

-

p)2

+

p

4(1

-

p)=

3

log{2

-

2

p}

+

log{8(1

-

p)4P(发送u1

)P(接收的前四个数字为0000)=

log{

}(1

-

p)4

+

6

p

2

(1

-

p)2

+

p

4P(发送ul，且接收的前四个数字为0000)=P(发送ul)×P(接收的前四个数字为0000

|发送ul=0000)=(1/8)×(1-p)4。因此，I(发送ul；接收的前四个数字为0000)=log

P(发送u1，且接收的前四个数字为0000)习题课2021/7/15382.13

令X、Y、Z是概率空间（即随机变量），试证明下述关系式成立。H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。H(YZ|X)=H(Y|X)＋H(Z|XY)。H(Z|XY)≤H(Z|X)，给出等号成立的条件。[2.13的解答](a)在以下的推导式中，不等号成立的理由来自于引理2。x2021/7/1539x

yzx

yzxyzx=

H(Y

|

X

)

+

H(Z

|

X

)P(Y

=

y

|

X

=

x)

P(Z

=

z

|

X

=

x)P(Y

=

y

|

X

=

x)P(Z

=

z

|

X

=

x)P(YZ

=

yz

|

X

=

x)P(YZ

=

yz

|

X

=

x)=P(XYZ

=

xyz)log

1

+P(XYZ

=

xyz)

log

1

£P(X

=

x)P(YZ

=

yz

|

X

=

x)log

1

=P(X

=

x)P(YZ

=

yz

|

X

=

x)log

1

H(YZ

|

X

)

=P(XYZ

=

xyz)log

1

(b)xy

xyz2021/7/1540xyz

xyzxyzxyz=

H

(Y

|

X

)

+

H

(Z

|

XY)P(

XY

=

xy)

P(

XYZ

=

xyz)P(

XY

=

xy)

P(

XYZ

=

xyz)P(

XY

=

xy)

P(

XY

=

xy)

P(

XYZ

=

xyz)

P(Y

=

x)P(XYZ

=

xyz)

log

·=P(

XYZ

=

xyz)=

P(XY

=

xy)

log

P(Y

=

x)

+P(

XYZ

=

xyz)

log

P(XY

=

xy) =

P(XYZ

=

xyz)

log

P(Y

=

x)

+P(

XYZ

=

xyz)

log

P(XY

=

xy) H

(YZ

|

X

)

=

P(

XYZ

=

xyz)

log

P(X

=

x)

(c)在以下的推导式中，不等号成立的理由来自于引理2。不等号变成等号的充要条件是：对任何(xyz)恒有

P(Z=z|XY=xy)=P(Z=z|X=x)。z2021/7/1541zxyzP

(

Z

=

z

|

X

=

x

)=

xz

)

log

1

P

(

Z

=

z

|

X

=

x

)=

xyz

)

log

1

P

(

Z

=

z

|

X

=

x

)P

(

Z

=

z

|

XY

=

xy

)P

(

Z

=

z

|

XY

=

xy

)=

P

(

XZxz=

H

(

Z

|

X

)=

P

(

XYZxyz£

P

(

XY

=

xy

)

P

(

Z

=

z

|

XY

=

xy

)

log

1

xy=

P

(

XY

=

xy

)

P

(

Z

=

z

|

XY

=

xy

)

log

1

xyH

(

Z

|

XY

)

=

P

(

XYZ

=

xyz

)

log

1

习题课2021/7/15422.18

若三个随机变量有如下关系：X＋Y=Z，其中X和Y相互独立。试证明：H(X)≤H(Z)H(Y)≤H(Z)H(XY)≥H(Z)I(X；Z)=H(Z)－H(Y)I(XY；Z)=H(Z)I(X；YZ)=H(X)I(Y；Z|X)=H(Y)I(X；Y|Z)=H(X|Z)=H(Y|Z)2021/7/1543[2.18的证明]

首先，P(Z=z)=∑yP(Y=y,

X=z-y)=∑yP(Y=y)P(X=z-y)zzy=

H

(

X

)z

-

y

)

logP

(

Y

=z

-

y

)

logz

-

y

)

log

1

P

(

Z

=

z

)

1

P

(

Z

=

z

)

1

P

(

Z

=

z

)

1

P

(

X

=

z

-

y

)P

(

Y

=

y

)

P

(

X

=P

(

Y

=

y

)

P

(

X

=

1

P

(

Z

=

z

)z

-

y

)

log‡

y=

P

(

Y

=

y

)

H

(

X

)=

P

(

Y

=

y

)

P

(

X

=y

zy

)

P

(

X

==

y

z=

z

yH

(

Z

)

=

P

(

Z

=

z

)

logx

y2021/7/1544P

(

Z

=

x

+

y

)=

x

)

P

(Y

=

y

)

log

1

=

x

)

P

(Y

=

y

)

log

1

P

(

X

=

x

)

P

(Y

=

y

)=

x

)

P

(Y

=

y

)

log

1

P

((

XY

)

=

(

xy

))

P

(

X

=

u

)

P

(Y

=

x

+

y

-

u

)u=

P

(

Xx

y‡

P

(

Xx

y=

P

(

Xx

y=

H

(

Z

)H

(

XY

)

=

P

((

XY

)

=

(

xy

))

log

1

习题课习题课2.23

设X是在[－1，1]上为均匀分布的随机变量。试求微分熵Hc(X)，Hc(X

2)和Hc(X

3)。[2.23的解答]

已知X的分布密度函数fX(x)。因此1

12021/7/1545+¥

1-¥

-1XHc

(

X

)

=

f

X

(

x)

log

f

(

x)

dx

=

(

2

log

2)dx

=

log

2习题课=。Y12

y

2

y1+

f

X

(-

y

)2

y1当y

˛

(0,1]时，=

f

X

(

y

)记Y=X2，Z=X3。需要首先计算Y的分布密度函数fY(y)和Z的分布密度函数fZ(z)。

当y

ˇ

(0,1]时，=0；f

(

y

)2021/7/15463

。-

23-

211=

z6当z

ˇ

[-1,1]时，=0；当z

˛

[-1,1]时，=

f

X

(3

z

)

3

zf

Z

(

z

)12021/7/1547211(11(11101=

log

2==10101010100

++¥-¥=

1

+

0

-

log

e<

0yln

y

-

loge

(

2

·

y

)dyy=

log

2

+

log

e( ln

y)dy4

y)dy

+

log

e2

y( log

y)dy4

ylog

2)dy

+2

y( log(

2

y

))dy2

ydyf

(

y)f

(

y)

logH

(Y

)

=YYc232021/7/1548232929131311130303313·0

+-

2-

2-

2-

2-11=

(01=

(-

2+¥-

¥=

log 6

+

0

-

2

log

e<

0)

dz1z1z

31ln

z

-

log

e

(01z

3=

log 6

+

log

ez

ln

z

)

dz1=

log 6

+

log

e

(0z

log

z

)

dz1z

log 6

)

dz

+

(2z

log( 6

z

3

))

dz2log( 6

z

3

))

dz=

(

6

zdzf

(

z

)ZH

c

(

Z

)

=

f

Z

(

z

)

log习题课2.25

设X和Y为连续随机变量，且X的概率密度为条件概率密度为其中－∞<x，y<∞。试求Hc(X)，Hc(Y)，Hc(XY)和I(X；Y)。2

2e

-x

/

4aq(

x)

=

12a

p22021/7/154913pa-(

y-1

x)2

/

3a2)ep(y

|

x)

=(习题课[2.25的解答]

只要将(XY)的二元联合分布密度函数写成二元正态分布的标准形状，就能求出Hc(X)，Hc(Y)，Hc(XY)和I(X；Y)。exp-Y

X

YX

X

-

X

Y

+

Y

(

y

-

m

)2

1

(x

-

m

)2s

2s

s2r(x

-

m

)(

y

-

m

)s

22(1-

r2

)

2ps

s

1-

r2X

Y二元正态分布的标准形状：pXY

(xy)=1122021/7/155012122YC2XC);

H

C

(

XY

)

=

H

C

(

X

)

+

H

C

(Y

)

-

I

(

X

;

Y

).log(

1

+I

(

X

;

Y

)

=);

H