信息论与编码第四章课后习题答案

第四章课后习题

[4.1]设有一连续随机变量，其概率密度函数为

p“)二Acosxk|

0其他值

又有£p(x)d.i=l,试求这随机变量的嫡。

解:

h(X)=-jp(x)logp(x)clx

=—JACOSxlogAdx—JACOSXlogcosxdx

=-AlogAsinA三一JAcosxlogcosxdx

"T

=-2AlogA-JAcosxlogcosxdx

而

jcosxlogcosxdx=logejInJl-sintrdsinx

=；logejln(l+sinx)+ln(l-sinx)dsinx

=；logfjln(1+sinx)dsinx+：logejln(l-sinx)dsinx

.x..x-f1+sinx..

jln(1+sinx)dsinx=(Zl14-sinx)ln(Zl1+sinx)%-------dsinx

-yJ1+sinx

=21n2-2

Jln(1-sinx)dsinx=-jln(l-sinx)J(l-sinx)

i一炉匕dsinx

=-(l-sinx)ln(l-sinx)

--JI-sinx

21n2-2

因此有

A

h(X)=-2AlogA-yluge(21ii2-2+21ii2-2)

=-2AlogA+2Aloge,-2j41oge,ln2

=-2AlogA+2Alog-2A

而,p(x)dx=l,即4=因此

/?(%)=-log^+loge-l=1+loge-1=loge

[4.2]计算连续随机变量X的差靖

(1)指数概率密度函数，(幻=婕队，x>0,X>0

(2)拉普拉斯概率密度函数，p(x)=；履叫"，-oo<X<oo,X>0

解：

(1)

h(X)=-jp(x)logp(x)d.x

=-logdx

*

=-Jilog入dx-Jibge'k'dx

=-log入+logeJIne~kxde"

=-logX+loge/ln/|i'-logeJdt

--logX+loge

log不

A

⑵

h(X)=-Jp(x)logp(x)dv

=_£l^^l10gl^-Wr

=入Hogg展“

=-Jke~/xlog—J.v-Jke~k'log)^e~^xdx

.-.e

=Iog2+log—

A

।2e

=bgb

K

注：(2)题直接借用了(1)的结论。

[43]设有一连续随机变量，其概率密度函数为:

bx20<x<a

〃(1)=•

0其他值

试求这随机变量的嫡。又若X=X+K(K>0),Y2=2X,试分别求出匕和X的

尴〃(工)和6亿)。

解：

MX)=-Jp(x)logP(x)dx

=-jbx2log/?.x2tZv

=-\ogb-2bloge.x2Inxdx

22

=§a'b\oge--a-bloga-logh

由于jp(x)dx=l,因此。»=3,因此

2

/?(X)=—loge+log«-log3

当匕=X+K(K>0)时，器=1，因此

"i

2

/z(yi)=/i(X)-^|logl]=/?(X)=—logf+log«-log3

当X=2X时，=因此

123

h(Y)=A(X)-E[log—]=/?(X)=—loge+logalog—

[232

[4.4]设给定两随机变量X1和它们的联合概率密度为

I邛

-8<XX,<8

一p

求随机变量匕二X|十X2的概率密度函数，并计算变量Y的淄〃(丫)o

解：

11-K1

P(X与)=丁e2=-i=e2~i=e2=P(xJP(&)

2nJ27tJ2兀

肉此匕=X1+X,也是一个高斯分布的随机变量.其均值为0.方差为2.即

P(V2)=^=^

因此其差熠为

h(Y)=log2neo:=^log4ne

[45]设一连续消息通过某放大器，该放大器输出的最大瞬时电压b,最小瞬时

电压为4。若消息从放大器中输出，问放大器输出消息在每个自由度上的最大病

是多少？又放大器的带宽为尸，间单位时间内输出最大信息量是多少？

解：

该问题等价于取值受限的随机变量的最大病，根据差熠的极值性，当等概率

分布时其差熠最大，即

h（y）=log（b-a）

如果放大器的带宽为尸，则取样率为2F,单位时间内输出的最大信息量为

2Flog（/?-a）比特/秒

[4.6]有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在4和。2之间，

此信源连至某信道，信道接收端接收脉冲的幅度y处在々和么之间。巳知随机变

量x和丫的联合概率密度函数

/、1

〃⑸）=7-----5―F7

（生一《）血-4）

试计算八（x）,A（r）,〃（xy）和/（x；y）。

解：

p（x）=jp（x,y）力

=f------!------dy

J（%一处）电-“）

同理，p(y)=-~z-o

因此

力(X)=-Jp(x)logp(x)dx=log(〃2-6)

〃(丫)=-jP(y)logP(y)dy=log("-々)

//(xr)=-jp(x,y)logp(x,y)dxdy=k)g(&-6)+log(/?2-b)

/(X；r)=/j(X)+h(Y)-h(XY)=0

[4.7]在连续信源中，根据差熠、条件差熠和联合差堵的定义，证明

(I)h(X\Y)<h(X)9当且仅当X和丫统计独立时等号成立；

(2)h(X,X2LXQW力(X。十万(X?)+L+6(XN),当且仅当X】X?LX.彼此统计

独立时等式成立。

证明：

(1)

力(XV)=-]P(y)dy\p(x\y)logp(xly)dx

q-Jp(y)d)[p(xIy)logp(x)dx

=-JP(x,y)logp(x)dxdy

=h(X)

等号成立当且仅当P(*y)=Mx),即p(x,y)=〃(x)p(y),因此仅当x和y统计

独立时等号成立。

(2)根据条件概率密度的相关公式，有

/I(X,X2X/V)=/J(X1)+/?(X2IX,)+//(%JX,X2)+L+h(XN\XiX2XN_l)

根据(1)的结论，条件差靖小于差靖，因此有

A(X,X2LXN)~(XJ+/KXJ+L+h(XN)

等号成立当且仅当

P(X2IA,)=/7(A2)

p(x3lx,x2)=p(x3)

p(%l—L­)=〃(/)

即

pC“2)=P(Xi)P(X2)

p(xxx2xy)=p(xx)p(x2)p(xi)

p(』0LxN)=p(x1)p(x2)Lp(xN)

[4.8]设连续随机变量X,巳知XNO,其平均值受限，即数学期望为4,试求

在此条件下获得的最大熠的最佳分布，并求出最大熠。

解:

给定条件如下:

JpMdx=1

^xp(x)dx=A

目标：求-]p(x)logp(K)dx的最大值。

构造函数

F(p(x))=p(x)logp(x)dx十入[p(x)dx+pJxp(x)dx

二J(一P(X)bgP(X)+入P(x)+|XVp(A)Xv

欲使锵=°,只需d(-p(x)log/?(%)+即(x)+g-vp(x))

二0即可，因此有

dp(x)

-logp(x)-loge+X+|iv=0

p(x)=21+

根据Jp(x)d.x-1,JAP(A)C/A-A,可得

j2入小=l=>g=-2山"

[.印(x)dx=An=一]0°g"

1/-A(logr)2

因此P(x)=E)-2',此时

MX)=-Jp(x)logp(x)dx

二一"g(；Q°g"卜"g"

[4.9]N维连续型随机序列X.,有概率密度p（XH?LXQ以及

E[（X（=^）]=G;O证明：当随机序列的分量各自达到正态分布并彼此统计独立

时熠最大。最大炳为

?og2”(o定Loj)"'

证明:

h(XtX2LXJW/7(XJ十〃(X?)+L+h(XN)

等号成立当且仅当各分量统计独立。

而对于任何一个分量而言，当用（X,=町）]=o；时，高斯分布的差嫡最大，为

/?(X)=ylog

因此原序列差炳的最大值为:

MX&LXG=|log2Jtec；+1log27^0；+L十;log2废oj

=ylog2U(G；O；L

[4.10]N维连续型随机序列X|X?LXN，其各分量幅度分别受限为口也」。证

明：当随机序列的分量各自达到均匀分布并彼此统计独立时熠最大。最大摘为

证明：

A（X,X2LX、）W/|（XJ+/KXJ+L+h（XN）

等号成立当且仅当各分量统计独立。

而对于任何一个分量而言，当幅度分别受限为”也〕时，均匀分布的差炳最大，

为

h（Xi）=\og（bi-ai）

因此原序列差炳的最大值为：

hiX1X2LX、）=log色一q）+log（a-〃J+L±\og（bN-aN）

=iogn（4-q）

1=1

[4.11]设X、都是互相独立的正态分布的随机变量，其方差分别为。；，

o；,…，均值分别为口，叫,L,乙。试证明Y=XI+X,+L+X.仍是正态

随机变量，其均值为m=£皿，方差。

证明：

设％和x?是相互独立的正态分布的随机变量，其均值为风，方差为设

r2=x,+x2.根据巳知条件，有

xf

Y2=X^X2

因此有

axi叫|

/、,、麻端

P(M，%)=pQ，z)ax

叱

ax7调

ii

=P*"2)0]

=P（M，X2）=P（%）P（X2）

=P（xJp（为一七）

因此有

p(y?)

xdx

p(a)p(y2-\)i

而

(x-叫『(乃一M-〃J

2o：2G;

2

](Z一叫f(y2-x,-w2)

21-0?—V

行占卜；（七一叫）二十o；（为一演一〃％F｝

吕7T｛（o；+o；卜;+2*（o：叫-o；%-呵。；）十K/十。；相十。:乂-2o%啊）｝

犯％

\(11Yf»-〃9：Y1.

5片r+।-「人，一__-(y2-zw,

。[+。；)29;+。;)

所以

2兀6。二

m.-m

2710)0：2(。:+a

2o,~o

2(0；+G

因此，Y?=Xi+X2是均值为呵+叫，方差为。：十0；的高斯分布，同理,

匕二XI+X?+X"……,y=X1+x?+L+X'均为高斯分布，因此

丫二'|十乂2+1+乂八是正态随机变量，其均值为〃=£犯，方差。2=£62

[4.12]设某连续信道，其特性如下：

1-(V-x//3a:

而且输入变量X的概率密度函数为

P(x)=

试计算:

(I)信源的炳MX)；

(2)平均互信息/(x；y)。

J2兀♦2a:

可见，X为均值为0,方差为2W的正态分布，其差脩为

/i(X)=—log2ne2a2=：log47tea2

p(.工y)=p(x)p(y\x)

14r+4y--4.\y

—r=~7exp〈-------------

2yf3na~12a~

而

2

1j

----j=e4a

2aJTI

因此y是均值为o,方差为2旌的高妍分布，其差病为

//（y）=^log27^x2a2=^log47U»a2

而条件熠为

h(Y\X)二一jp(x)p(yIx)logp(yIx)dxdy

//,y、

1

=-Jp(xy)i°gl.xdy

a6兀

「1fMi

-Jp(x,y)log力―dxdy-Jp(x,y)loge3a.dxdy

=logV3na+logejp(x,y)H4-dxdy

3a2

而

而

=3辰［尸/力

=^->/37ta5

因此

・2a而

4a标

2

h(YIX)=logV3na+logejp(x,y)绘

=logV3na+[loge

--log37U»a2

因此平均互信息为：

l(X\Y)=H(Y)-H(Y\X)

=glog4nea2-log3nea2

1.4

二-log—

2&3

=0.21

注：该题推导过程中引用的相关积分公式：

(1)「e寸力=

⑵"力=与

[4.13]试证明两连续随机变量之间的平均互信息/(X;V)是输入随机变量X的

概率密度函数P(X)的I型凸函数。

证明:

/(X;y)=jp(x)p(yIx)log，；；；：)dxdy

=fp(x)p(yIx)logT——P0")----dxdy

Jp(x)p(y\x)dx

设存在X的两个概率密度p(r)和〃2(x),参数04641,目标证明:

/(步(x)+0>2(x))>e/(P1(A))++e/(p2(x))

过程如下：

0/(Pi(x))+曲(p?(x))-/您pi(x)+即2(x))

=ejp,(x)p(ylx)logp(yIx)dxdy+町p?(x)p(yLv)logdxdy

p.(y)

P(yix)

-Jp(x)p(yix)iog」dxdy

p(y)

P(y)P(y)

d.idy十5J〃式人)X>'Li)logdxdy

/Xy)

而

[Pl(X)P(yIx)logdxdy=Jp,(x,y)logdxdy

喘dxdy

,

=logJ/?l(xly)P(>W-vJv

=0

同理，Jp2Mp(yIx)logdxdy<0,因此有

/(加(x)+弧(幻)Ne/(p(0)+而(p式x))

[4.14]试证明多维连续无记忆信道的充要条件为

N

p(yix)=np(y/w)

1=1

证明:

(1)充分性。

P(《%LyNlxrv2LxN)

=p(yt\xlx2Lx^)p(y3IX,X2L%yJLp(yNlx,x,LxNyty2LyN,)

而

i、p(*t,Lxyy.Ly.y)

p(ylx,xL/yjJy_)二/茨Nt一•N"}N

jV2NtKR

P(LXNy.y2LyN_t)

_P&%L­U-L/)

P(y为Ll3&LXN)

f]p(y,MJ

_j=l

L

\p(y,y2yN-iyN^^x2LxN)dyN

flp(yJz)tlp(y,Jz)

—j=l_________________

一『N-

jnpu/zM*I]p(yJxJ

1=1f=l

=P(ZJXN)

同理

(

PbggLxNy{y2LyN_2)=PyN.^XNJ

p(y2lx,x2LxNyJ=p(y2\x2)

p(yflxrr2LxAf)=p(y1lxl)

因此该信道是无记信道。

(2)必要性。

根据无记信道的性质，有

1

P(yN-i-LxNy.y2LyN_2)=

piy2\xtx2LxNy1)=p(y2\x2)

p{yx\XXX2L/)=p(yjxj

而

P(M%LyNlx,x,LxN)

=p(yt\xtx2LxN)p(y2\x{x2LxNyt)Lp(yN\xtx2LxNyty2LyN_t)

因此有

p(yix)=Ilp(y/x)

i=l

(4.151试证明连续信源X的相对炳人(X)是概率密度p(x)的I型凸函数。

证明：

设存在x的两个概率密度化(幻和P2(x),参数owevi,目标证明：

h啊(K)+-2⑶).昉(P](x))++0)h(p2(x))

过程如下：

e/z(P](x))++o/j(p2(x))-〃(即](x)+0p2(x))

=-OJPI(X)logPiMdx-BJp2(x)logp式x)△+j(0/7,(x)+而式x))logp(x)dx

二。JPi(x)logdx+叮p2(x)log上鲁dx

Pl\^)P2O

而

j/?,(.v)logdx<logjp,(x)dx

P\\^)P](X)

=logl

=0

同理，b,(x)log-^-J.v<0

-

JP2(x)

因此

8h(〃[(/))+而(Pz(x))-h(8pi(.v)+0p2(x))<0

[4.16]设信道输入是连续型随机序列X|X?LXN，输出也是连续型随机序列

Y{Y2Lyv,信道传递概率密度为p()“x)。试证明:

(1)当信源是无记忆时，有

/(X/LX,v；kLRR£/(X")

(2)当信道是无记忆时，有

/(X.X.LXv：KKLrv)<£/(X.：y：)

证明:

l(X.X2LXN^Y2LYN)

p(MSL/lyjzL%)

=jp(x,x2L4，X%L%)bg

p(x「jLxN)

P(yj：Ly3*RL/)

二1P(XRLxA,,yj,L%)log

P(H%LyN)

£/(4消)

=JpC")logp（七।匕）

dxxdx2Ldxsdy{dy2LdyN

P（x.）

Jp(—LXMLyjogP(*畿虢悬皿曲LdX'dyMLdyN

二Jp（卬JLL%）log吗鬻器偿与血L风小血LdyN

（1）当信源无记忆时，即pCViZL/）=p（X1）p（#2）Lp（》N）

£/(x,；x)—/(X|XJXN；Y,Y2Lrv)

=j"(卬J赤,M%Ly/logP(xJX)/华I：)L；(.£、Iy,v),L4%力JdyN

JP($&L/IM为L%)J

Gogjpa匕L)")」(*>)/；&I：)L；(.底IJ)d&LdvNdy,LdyN

=logJp(x,Lp(x।M)LP(/।XJPUJJye

%)'JyN)d%LdxNdyxLdyN

P(X|LyN)

=k)gjp(WLp(xN\yN)p(yly2LyN)dx.LdxNdy,LdyN

等号成立当且仅当〃(xlyjp*2l%)LP(xN\yN)=p(xtx2LxNlyty2LyN).

当P(yLlx,L.vv)=p(y,lx,)L时，根据信源的无记忆性，即

p(yjyN\xtLxN)p(xxLxN)=p(ylIx^Lp(yN\xN)p(xl)Lp(xN)

即

pQLXN»L>\,)=p(x1,v1)Lp(xN1yN)(1)

两边对各自由度积分得

p(y,LvA,)=p(y,)Lp(yN}(2)

(1)式两边除以(2)式两边得

P(XIX)P(x?I%)LP(xNIyN)=P(XRLIy,y2LyN)

因此等号成立当且仅当连续信道无记忆。

(2)当信道无记忆时，即p(yLIx,LxN)=p(ytIx^Lp(%l4)时，

/(X,X2LX/XtL%)—£/(Xj；匕)

/?()|)/?()LZ?(Vv)

=JP(M&LxN,yty2LyN)log^dxxLdxNdyxLdyN

L

Jpiy\y2”)

<logfp(x,x2L^,y,y2L