信息论与编码 陈运 电子工业出版社

1、爱答案习题答案课件资源网2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0, 1, 2, 3八进制脉冲可以表示8个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X1)=logn=log4=2 bit/symbol 八进制脉冲的平均信息量H(X2)=logn=log8=3 bit/symbol 二进制脉冲的平均信息量H(X0)=logn=log2=1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别

2、是二进制脉冲信息量的2倍和3倍。题求：身高160厘米以上的某女孩是大学生的信息量答即：p(y1/x1)=0.75 bit案2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：p(xi)=I(xi)=logp(xi)=log52!=225.581 bit(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：爱答1 52!案习即：I(x1/y1)=logp(x1/y1)=log课解：

3、设随机变量X代表女孩子学历x2（不是大学生） X x1（是大学生）P(X) 0.25 0.75设随机变量Y代表女孩子身高y2（身高<160cm） Y y1（身高>160cm）P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的p(x1)p(y1/x1)0.25×0.75=log=1.415 bitp(y1)0.5件资源网www.ai2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？daan.c&#

4、183; 1 ·n爱答案习题答案课件资源网413p(xi)=13C52I(xi)=logp(xi)=log4=13.208 bit13C5213Xx1=0x2=1x3=2x4=32.4 设离散无记忆信源=，其发出的信息为1/41/41/8P(X)3/8(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？此消息的信息量是：I=logp=87.811 bitp(xN)=93%答I(xY)=logp(xY)=log0.07=3.837 bitI(xN)=logp(x

5、N)=log0.93=0.105 bitix2x3x4x5x6Xx12.6 设信源=7，求这个信源的熵，并解释为什么PX()H(X) > log6不满足信源熵的极值性。解：· 2 ·爱H(X)=p(xi)logp(xi)=(0.005log0.005+0.995log0.995)=0.045 bit/symboli答女士：案H(X)=p(xi)logp(xi)=(0.07log0.07+0.93log0.93)=0.366 bit/symbol习题案p(xY)=7%课解： 男士：件资2.5 从大量统计资料知道，男性中红绿色盲

6、的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？源网ww(2) 此消息中平均每符号携带的信息量是：I/n=87.811/45=1.951 bitw.aida131p=××88414256an.c解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：n爱答案习题答案课件资源网H(X)=p(xi)logp(xi)i6=(0.2log0.2+0.19log0.19+0.18log

7、0.18+0.17log0.17+0.16log0.16+0.17log0.17) =2.657 bit/symbolH(X)>log26=2.585不满足极值性的原因是p(x)=1.07>1。ii62.7 证明：H(X3/X1X2) H(X3/X1)，并说明当X1, X2, X3是马氏链时等式成立。证明：i1i2i3i1i3i1i2i3i1i2i3i1i2i3当2.8证明：H(X1X2 。 Xn) H(X1) + H(X2) + + H(Xn)。证明：爱p(xi1)p(xi2/xi1)p(xi3/xi1)=p(xi1xi2xi3)p(xi2/xi1)p(xi3/xi1)=p(xi

8、2xi3/xi1)等式等等的等等是X1,X2,X3是马_氏链H(X1X2.Xn)=H(X1)+H(X2/X1)+H(X3/X1X2)+.+H(Xn/X1X2.Xn1)I(X2;X1)0 H(X2)H(X2/X1)I(X3;X1X2)0 H(X3)H(X3/X1X2).答p(xi1xi2)p(xi3/xi1)=p(xi3/xi1xi2)p(xi1xi2)案p(xi3/xi1)=p(xi3/xi1xi2)习p(xi3/xi1)1=0时等式等等p(xi3/xi1xi2)题答H(X3/X1X2)H(X3/X1)案课=p(xi1xi2)p(xi3/xi1)p(xi1xi2xi3)log2ei1i2i3i

9、1i2i3pxxpxx()(/)=i1i2i3i11log2ei3i1i2=0件资源网p(xi3/xi1)1p(xi1xi2xi3)p(x/xx)log2ei1i2i3i3i1i2w.ww=p(xi1xi2xi3)logp(xi3/xi1)p(xi3/xi1xi2)aida=p(xi1xi2xi3)logp(xi3/xi1xi2)+p(xi1xi2xi3)logp(xi3/xi1)an· 3 ·=p(xi1xi2xi3)logp(xi3/xi1xi2)+p(xi1xi3)logp(xi3/xi1).cH(X3/X1X2)H(X3/X1)n爱答案习题答案课件资源网I(XN;X

10、1X2.Xn1)0 H(XN)H(XN/X1X2.Xn1)H(X1X2.Xn)H(X1)+H(X2)+H(X3)+.+H(Xn)2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H；(3) 试计算H(X4)并写出X4信源中可能有的所有符号。解： (1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号” (2)H=limH(XN/X1X2.XN1)=H(XN)=0.971 bit

11、/symbolN>010001010110011110001001101010111100110111101111爱答案习2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为0, 1, 2。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H。题答案课件资X4的所有符号：0000000100100011源H(X4)=4H(X)=4×(0.4log0.4+0.6log0.6)=3.884 bit/symbol网(3)ww解： (1) · 4 ·w.iaiH(X3/X1X2)=H(X3)=p(xi)logp(xi)=(0.4log0.4+0.6lo

12、g0.6)=0.971 bit/symboldaH(X2)=2H(X)=2×(0.4log0.4+0.6log0.6)=1.942 bit/爱答案习题答案课件资源网p(e1)=p(e1)p(e1/e1)+p(e2)p(e1/e2)p(e2)=p(e2)p(e2/e2)+p(e3)p(e2/e3)p(e)=p(e)p(e/e)+p(e)p(e/e)3331313p(e1)=pp(e1)+pp(e2)p(e2)=pp(e2)+pp(e3)p(e3)=pp(e3)+pp(e1)p(e1)=p(e2)=p(e3)p(e1)+p(e2)+p(e3)=1p(e1)=1/3p

13、(e2)=1/3p(e)=1/33(2)ij=plogp+plogp bit/symbol2.11黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。(1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X);(3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。解： (1)H(X)=p(xi)logp(

14、xi)=(0.3log0.3+0.7log0.7)=0.881 bit/symboli(2)爱答案111111=plogp+plogp+plogp+plogp+plogp+plogp333333习题111=p(e1/e1)logp(e1/e1)+p(e2/e1)logp(e2/e1)+p(e3/e1)logp(e3/e1)333111+p(e1/e2)logp(e1/e2)+p(e2/e2)logp(e2/e2)+p(e3/e2)logp(e3/e2)333111+p(e1/e3)logp(e1/e3)+p(e2/e3)logp(e2/e3)+p(e3/e3)logp(e3/e3)333答)案

15、课件资H=p(ei)p(ej/ei)logp(ej/ei)源33网wwp(x1)=p(e1)p(x1/e1)+p(e2)p(x1/e2)=pp(e1)+pp(e2)=(p+p)/3=1/3p(x2)=p(e2)p(x2/e2)+p(e3)p(x2/e3)=pp(e2)+pp(e3)=(p+p)/3=1/3 p(x3)=p(e3)p(x3/e3)+p(e1)p(x3/e1)=pp(e3)+pp(e1)=(p+p)/3=1/312X0=P(X)1/31/31/3w.aidaan.c· 5 ·n爱答案习题答案课件资源网p(e1)=p(e1)p(e1/e1)+p(e2)p(e1/e

16、2)p(e2)=p(e2)p(e2/e2)+p(e1)p(e2/e1)p(e1)=0.8p(e1)+0.1p(e2)p(e2)=0.9p(e2)+0.2p(e1)p(e2)=2p(e1)p(e1)+p(e2)=1p(e1)=1/3p(e2)=2/3H=p(ei)p(ej/ei)logp(ej/ei)ij(3)爱11111p(xi)=×+×=666618答案解： (1)习题2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信

17、息量； (4) 两个点数之和（即2, 3, , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。答I(xi)=logp(xi)=log(2)1=4.170 bit18111p(xi)=×=6636I(xi)=logp(xi)=log1=5.170 bit36(3)两个点数的排列如下：11 12 13 14 15 16 · 6 ·案课件H(X) > H2(X)表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。资源网HHlog20.5531=0=44.7%H0log2www.1

18、=H0Hlog20.881=11.9%H0log2aidaan2211=×0.8log0.8+×0.2log0.2+×0.1log0.1+×0.9log0.93333=0.553 bit/爱答案习题答案课件资源网21 22 23 2431 32 33 3441 42 43 4451 52 53 5461 62 63 64共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是2×25 26 35 36 45 46 55 56 65 66111×=6636111×= 6618ww2

19、3456789101112X11115151111=P(X)3618129366369121836H(X)=p(xi)logp(xi)iw.aida· 7 ·(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：案1111p(xi)=××11=6636I(xi)=logp(xi)=log课解：(1)3131H(X)=p(xi)logp(xi)=log+log=0.811 bit/symbol4444i(2)m100m爱2.13 某一无记忆信源的符号集为0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符号的平均熵；）(2)

20、 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”的自信息量的表达式； (3) 计算(2)中序列的熵。答案习13p(xi)=×44题3100m=10043=41.5+1.585m bit1004100m答11=1.710 bit36件(5)资111111115511=2×log+2×log+2×log+2×log+2×log+log36181812129936366636=3.274 bit/symbolI(xi)=logp(xi)=log源网an.c1111H(X)=p(xi)logp(xi)=

21、6×log+15×log=4.337 bit/symbol36181836in爱答案习题答案课件资源网(3)H(X100)=100H(X)=100×0.811=81.1 bit/symbol2.14 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：件x忙x2闲X1=6340P(X)1031032资源解： (1)根据忙闲的频率，得到忙闲的概率分布如下：网ww若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信

22、息。w.ijk12882727161612=loglogloglog+103103103103103103103103881515551212+loglogloglog+103103103103103103103103=2.836 bit/symbolH(YZ)=p(yjzk)logp(yjzk)jk2023233232282820=loglogloglog+103103103103103103103103=1.977 bit/symbolH(X/YZ)=H(XYZ)H(YZ)=2.8361.977=0.859 bit/symbol(3)I(X;YZ)=H(X)H(X/YZ)=0.9640.8

23、59=0.159 bit/symbol· 8 ·爱答案习H(XYZ)=p(xiyjzk)logp(xiyjzk)题(2)设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z答案63404063H(X)=p(xi)logp(xi)=log+log=0.964 bit/symbol103103103103i课爱答案习题答案课件资源网2.15 有两个二元随机变量X和Y，它们的联合概率为并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；(2) H(X/Y), H(Y/

24、X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。jp(x1)=p(x1z1)+p(x1z2)爱p(z1)=p(x1z1)+p(x2z1)p(x2z1)=p(z1)p(x1z1)=p(z2)=p(x1z2)+p(x2z2)p(x2z2)=p(z2)=18730.5=88133111H(XZ)=p(xizk)logp(xizk)=log+log+log=1.406 bit/symbol288882ik答p(x1z

25、1)=p(x1)=0.5案p(x1z2)=0习题z=0z2=1Z11P(Z)=78827117H(Z)=p(zk)=log+log=0.544 bit/symbol8888k答案课件Z = XY的概率分布如下：资131p(y1)=p(x1y1)+p(x2y1)=+=882311p(y2)=p(x1y2)+p(x2y2)=+=882H(Y)=p(yj)logp(yj)=1 bit/symbol源网www.iai131p(x1)=p(x1y1)+p(x1y2)=+=882311p(x2)=p(x2y1)+p(x2y2)=+=882H(X)=p(xi)logp(xi)=1 bit/symbolda&

26、#183; 9 ·解： (1)爱答案习题答案课件资源网p(y1)=p(y1z1)+p(y1z2)p(y1z2)=0p(y1z1)=p(y1)=0.5p(z1)=p(y1z1)+p(y2z1)p(y2z1)=p(z1)p(y1z1)=p(z2)=p(y1z2)+p(y2z2)p(y2z2)=p(z2)=18730.5=88133111H(YZ)=p(yjzk)logp(yjzk)=log+log+log=1.406 bit/symbol288882jkp(x2y1z2)=0p(x1y1z1)+p(x1y1z2)=p(x1y1)p(x1y1z1)=p(x1y1)=1/8p(x1

27、y2z1)+p(x1y1z1)=p(x1z1)p(x1y2z1)=p(x1z1)p(x1y1z1)=p(x2y1z1)+p(x2y1z2)=p(x2y1)38113=288ijk答18H(XYZ)=p(xiyjzk)log2p(xiyjzk)案p(x2y2z2)=p(x2y2)=课p(x2y2z1)+p(x2y2z2)=p(x2y2)件p(x2y2z1)=0资p(x2y1z1)=p(x2y1)=源网13333111H(XY)=p(xiyj)log2p(xiyj)=log+log+log+log=1.811 bit/symbol88888888ijH(X/Y)=H(XY)H(Y)=1.8111=

28、0.811 bit/symbolH(Y/X)=H(XY)H(X)=1.8111=0.811 bit/symbolH(X/Z)=H(XZ)H(Z)=1.4060.544=0.862 bit/symbolH(Z/X)=H(XZ)H(X)=1.4061=0.406 bit/symbolH(Y/Z)=H(YZ)H(Z)=1.4060.544=0.862 bit/symbolH(Z/Y)=H(YZ)H(Y)=1.4061=0.406 bit/symbolH(X/YZ)=H(XYZ)H(YZ)=1.8111.406=0.405 bit/symbolH(Y/XZ)=H(XYZ)H(XZ)=1.8111.40

29、6=0.405 bit/symbolH(Z/XY)=H(XYZ)H(XY)=1.8111.811=0 bit/symbol(3) · 10 ·爱答案(2)习13333111=log+log+log+log=1.811 bit/symbol88888888题www.aidaanp(x1y2z2)=0.cp(x1y1z2)=0n爱答案习题答案课件资源网I(X;Y)=H(X)H(X/Y)=10.811=0.189 bit/symbolI(X;Z)=H(X)H(X/Z)=10.862=0.138 bit/symbolI(Y;Z)=H(Y)H(Y/Z)=10.862=0.138 bi

30、t/symbolI(X;Y/Z)=H(X/Z)H(X/YZ)=0.8620.405=0.457 bit/symbolI(Y;Z/X)=H(Y/X)H(Y/XZ)=0.8620.405=0.457 bit/symbolI(X;Z/Y)=H(X/Y)H(X/YZ)=0.8110.405=0.406 bit/symbol2.16 有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X) H(Z), H(Y) H(Z)。证明：QZ=X+Yp(yj) (zkxi)Yp(zk/xi)=p(zkxi)=0 (zkxi)Y同理可得H(Z)H(X)。解：爱答案习题答案课1x2

31、.17 给定声音样值X的概率密度为拉普拉斯分布p(x)=e,<x<+，求Hc(X)，并证2明它小于同样方差的正态变量的连续熵。件资源网=p(xi)p(yj)log2p(yj)=H(Y)ijQH(Z)H(Z/X)H(Z)H(Y)www.aidaH(Z/X)=p(xizk)logp(zk/xi)=p(xi)p(zk/xi)logp(zk/xi)ikikan· 11 ·.cn爱答案习题答案课件资源网+1Hc(X)=p(x)logp(x)dx=p(x)loge|x|dx2=log =log =log其中：2+p(x)dxp(x)loge|x|dx+221|x|eloge

32、|x|dx2+exlogexdx+exlogexdx+12.18 连续随机变量X和Y的联合概率密度为：p(x,y)=r20答案+1|x|2=E(xm)=E(x)=p(x)xdx=exdx=exx2dx02+=exdx2=2exxdx =x2dex=exx2exdx2000002+2x+x2 =xdex=ex00edx=20122eHc(X正态)=log2e2=loge>Hc(X)=log2习题答案课222+2件+资01+11|x|xexdx=exdx+exxdxm=E(X)=p(x)xdx=0222010101+1yx(y)(y)d(y)=Qexdx=eeydy=eyydy2+2+202

33、+1+1xm=exdx+exxdx=00202+源网ww爱w.x2+y2r2其他ai，求H(X), H(Y),H(XYZ)和I(X;Y)。（提示：2log2sinxdx=2log22）解：· 12 ·da+exdlogex=exlog2e=log2e00022eHc(X)=log+log2e=logbit/symbolan=exlog2ex+().c=logexdexn()爱答案习题答案课件资源网r2x2r2x2p(x)=r2x2rp(xy)dy=12r2x2dy=(rxr)2r2x2r2rHc(X)=p(x)logp(x)dxrrr=爱答案logr2习4题=420sinl

34、ogrd+241cos241cos2d+2logsind202答2sin2logsind案=420sin2logrsind课2r2x222logrxdx=2rr4r2=2rx2logr2x2dxr040令x=rcos2rsinlogrsind(rcos)r2402=2rsin2logrsindr2r件资源网www.airp(x)logr2x2dxda· 13 ·2r2x2=p(x)logdx2rrrr2=p(x)log2dxp(x)logr2x2dxrrrrr2=logp(x)logr2x2dxr2r21=loglogr+1log2e221=log2rlog2e bit/s

35、ymbol2其中：爱答案习题答案课件资源网=2logr2d2logr2cos2d+220logsind220cos2logsind=logr1logr2dsin2+2(2log22)220cos2logsind=logr1220cos2logsind1=logr1+log2e2其中：=220cos2logsind20=爱1HC(Y)=HC(X)=log2rlog2e bit/symbol2Hc(XY)=p(xy)logp(xy)dxdyR答案p(y)=p(x)习p(y)=r2y2r2y2p(xy)dx=r2y22r2y21dx=(ryr)r2y2r2r2=p(xy)logRR1dxd

36、y2r题答11=log2elog2esin2221=log2e220案课件1+cos2d0211=log2e2dlog2e2cos2d2log2e2源网log2e2cos2dww2w.=1202sincoscoslog2edsin资=logr2p(xy)dxdy =log2r2 bit/symbolIc(X;Y)=Hc(X)+Hc(Y)Hc(XY) =2log2rlog2elogr2 =log2log2e bit/symbol· 14 ·aida1=sin2logsin22sin2dlogsin0an.c1logsindsin2n爱答案习题答案课件资源网2.19 每帧电视图

37、像可以认为是由3¯105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解： 1)H(X)=logn=log128=7 bit/symbolH(X)=NH(X)=3×10×7=2.1×10 bit/symbol 2)N56i1i2iNi1答=.p(xi1xi2.xiN)lo

38、gp(xi1).p(xi1xi2.xiN)logp(xi2/xi1)i1i2iNi1i2iN .p(xi1xi2.xiN)logp(xiN/xi1.xiN1)i2爱=p(xi1)logp(xi1)p(xi1xi2)logp(xi2/xi1)i1i1i2.p(xi1xi2.xiN)logp(xiN/xi1.xiN1)i1i2iN=H(X1)+H(X2/X1)+H(X3/X1X2)+.+H(XN/X1X2.XN1)2.21 设X=X1X2.XN是N维高斯分布的连续信源，且X1, X2, , XN的方差分别是22，它们之间的相关系数(XiXj)=0(i,j=1,2.,N,ij)。试证明：N维高斯分布

39、的12,2,.,N连续信源熵案iN习题=.p(xi1xi2.xiN)logp(xi1)p(xi2/xi1).p(xiN/xi1.xiN1)i1i2iN答案=.p(xi1xi2.xiN)logp(xi1xi2.xiN)课H(X1X2.XN)件证明：资H(X1X2.XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+.+H(XN/X1X2.XN1)。源2.20 设X=X1X2.XN是平稳离散有记忆信源，试证明：网www.H(XN)2.1×106N=158037H(X)13.288aida· 15 ·3)anH(XN)=NH(X)=1000×13.28

40、8=13288 bit/symbol.cH(X)=logn=log10000=13.288 bit/symboln爱答案习题答案课件资源网1NHc(X)=Hc(X1X2.XN)=log2ei22i证明：相关系数xixj=0 (i,j=1,2,.,N, ij)，说明X1X2.XN是相互独等的。()Hc(X)=Hc(X1X2.XN)=Hc(X1)+Hc(X2)+.+Hc(XN)1QHc(Xi)=log2ei22Hc(X)=Hc(X1)+Hc(X2)+.+Hc(XN)11122+.+log2eN =log2e12+log2e22221N=log2ei22i=1RR=logbf(x)dxf(x)log

41、x2dxRR2)Q0xa0yAaAya+AFY(y)=P(Yy)=P(X+Ay)=P(XyA) =bbx2dx=(yA)3A3f(y)=F(y)=b(yA)2yARR爱答案2ba3a3=logblog9ebx3ba3,FX(a)=QFX(x)=1332a3Hc(X)=logblogbit/symbol3e案=logb2bx2logxdxR课习题答件资Hc(X)=f(x)logf(x)dx=f(x)logbx2dxHc(Y)=f(y)logf(y)dy=f(y)logb(yA)2dy =logbf(y)dyf(y)log(yA)2dyRR=logb2b(yA)2log(yA)d(yA)R

42、3; 16 ·源解：1)网ww(1) 试求信源X的熵Hc(X)；(2) 试求Y = X + A (A > 0)的熵Hc(Y)； (3) 试求Y = 2X的熵Hc(Y)。w.aibx22.22 设有一连续随机变量，其概率密度函数p(x)=0其他爱答案习题答案课件资源网2ba3a3logbit/symbol =logb9ebba33QFY(y)=(yA),FY(a+A)=1 332a3Hc(Y)=logblogbit/symbol3e3)Q0xa00y2aya2爱答案习bHc(Y)=f(y)logf(y)dy=f(y)logy2dyRR8b =logf(y)dy

43、f(y)logy2dyR8Rbb =logy2logydy84Rb2ba38a3 =logloge892ba3a392ba3log+ =logb39e b3ba3QFY(y)=1y,FY(2a)=2432a3Hc(Y)=logblog+1 bit/symbol3e题答案课件资源网www.aiyFY(y)=P(Yy)=P(2Xy)=P(X2yb3 =2bx2dx=y024bf(y)=F(y)=y28da· 17 · 爱答案习题答案课件资源网Xx1x23.1 设信源=通过一干扰信道，接收符号为Y = y1, y2 ，信道转移矩P(X)0.60.451阵为66，求：1344(1)

44、 信源X中事件x1和事件x2分别包含的自信息量；(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量； (3) 信源X和信宿Y的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息量。I(x1)=log2p(x1)=log20.6=0.737 bitI(x2)=log2p(x2)=log20.4=1.322 bit2)资51p(y1)=p(x1)p(y1/x1)+p(x2)p(y1/x2)=0.6×+0.4×=0.66413p(y2)=p(x1)p(y2/x1)+p(x2)p(y2/x2)=0.6&#

45、215;+0.4×=0.464p(y1/x1)5/6I(x1;y1)=log2=log2=0.474 bitp(y1)0.6源网www.3)案H(X)=p(xi)logp(xi)=(0.6log0.6+0.4log0.4)log210=0.971 bit/symbol习爱H(Y)=p(yj)logp(yj)=(0.6log0.6+0.4log0.4)log210=0.971 bit/symbolj4)H(Y/X)=p(xi)p(yj/xi)logp(yj/xi)ij55111133=(0.6×log+0.6×log+0.4×log+0.4×lo

46、g×log21066664444=0.715 bit/symbolQH(X)+H(Y/X)=H(Y)+H(X/Y)H(X/Y)=H(X)+H(Y/X)H(Y)=0.971+0.7150.971=0.715 bit/symbol· 17 ·答i题I(x2;y2)=log2p(y2/x2)3/4=log2=0.907 bitp(y2)0.4答案I(x2;y1)=log2p(y1/x2)1/4=log2=1.263 bitp(y1)0.6课p(y2/x1)1/6I(x1;y2)=log2=log2=1.263 bitp(y2)0.4件aidaan.c解：1)n爱答案习题

47、答案课件资源网5)I(X;Y)=H(X)H(X/Y)=0.9710.715=0.256 bit/symbol213.2 设二元对称信道的传递矩阵为331233(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解： 1)ij3.3 设有一批电阻，按阻值分70%是2K，30%是5 K；按瓦分64%是0.125W，其余是0.25W。现已知2 K阻值的电阻中80%是0.125W，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？解：对本题建立数学模型如下：X阻值x1=2x2=

48、5Y瓦数y1=1/8= =0.70.3P(X)P(Y)0.64p(y1/x1)=0.8,p(y2/x1)=0.2求：I(X;Y)以下是求解过程：爱答案1122C=maxI(X;Y)=log2mHmi=log22+(lg+lg×log210=0.082 bit/symbol33331p(xi)=2习题答2)案课I(X;Y)=H(X)H(X/Y)=H(Y)H(Y/X)H(X/Y)=H(X)H(Y)+H(Y/X)=0.8110.980+0.918=0.749 bit/symbolI(X;Y)=H(X)H(X/Y)=0.8110.749=0.062 bit/symbol件资322311111122=(×lg+×lg+×lg+×lg×log210433433433433=0.918 bit/symbol3