第二篇信源熵习题答案

1、试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲能够表示4个不同的消息,例如：(0,1,2,3)八进制脉冲能够表示8个不同的消息，例如：0,1,2,3,4,5,6,7)二进制脉冲能够表示2个不同的消息，例如：0,1假设每一个消息的发出都是等概率的，那么：四进制脉冲的平均信息量H(XJ=logn=log4=2bit!symbol八进制脉冲的平均信息量H(X2)=log/?=log8=3bit/symbol二进制脉冲的平均信息量H(Xo)=log/?=log2=1bit/symbol因此：四进制、八进制脉冲所含信息量别离是二进制脉冲信息量的2倍和3倍。居住某地域的女小孩有25%

2、是大学生，在女大学生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占总数的一半。假设咱们得知“身高160厘米以上的某女孩是大学生”的消息，问取得多少信息量？解：设随机变量X代表女小孩学历XX,(是大学生)必(不是大学生)P(X)设随机变量丫代表女小孩身高Yy/(身高160cm)力(身高160cm)P(Y)已知：在女大学生中有75%是身高160厘米以上的即：/Xy1/x,)=0.75bit求：身高160厘米以上的某女孩是大学生的信息量即：/(再/V1)=-log/?(AI/弘)=-log=-log=1.415P(Vi)05一副充分洗乱了的牌(含52张牌)，试问(1)任一特定排列

3、所给出的信息量是多少？(2)假设从中抽取13张牌，所给出的点数都不相同能取得多少信息量？解：52张牌共有52!种排列方式，假设每种排列方式显现是等概率的那么所给出的信息量是：pG)4/(a;)=logp(xi)=log5Z=225.581bit(2)52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下:413(七)=产C524,3/(七)=-logp(xj)=-logfy=13.208bitG2设离散无经历信源Xl=?'=0=1/=2z=3其发出的信息为(202032),求P(X)3/81/41/41/8(1)此消息的自信息量是多少？(2)此消息中平均每符号携带的信息量是

4、多少？解：(1)此消息总共有14个0、13个一、12个二、6个3,因此此消息发出的概率是：此消息的信息量是：/=log=87,811bit(2)此消息中平均每符号携带的信息量是：/=87.811/45=1.951hit从大量统计资料明白，男性中红绿色盲的发病率为7%,女性发病率为%,若是你问一名男士:“你是不是是色盲？”他的回答可能是“是。可能是“否二问这两个回答中各含多少信息量，平均每一个回答中含有多少信息量？若是问一名女士，那么答案中含有的平均自信息量是多少？解：男士：P(Xy)=7%I(xY)=-logp(xy)=-log0.07=3.837bitp(xN)=93%/(xv)=-Iog/

5、?(xAf)=-log0.93=0.105hit2H(X)=p(xi)logp(xJ)="(0.071og0.07+0.931og0.93)=0.366bit/symboli女士：2H(X)=p(x)logp(xt)=-(0.0051og0.005+0.9951og0.995)=0.045bit/symbol设信源H(X) > Iog6不知足信源烟的极值性。解：,求那个信源的烯，并说明什么缘故"(X)=Np(再)logP*i)i="(0.2log0.2+0.191og0.19+0.181og0.18+0.171og0.17+0.161og0.16+0.17l

6、og0.17)=2.657bit/symbol"(X)>log26=2.585不知足极值性的缘故是玄(x,)=1.07>10证明：H（Xs/XMWH（X3/X,）,并说明当尤,及尤是马氏链时等式成立。证明：=一工22（44$3）1。8（%/和）+工2（为内3）1。8（%/同）11r2131113=-ZZZP&MM3)logP(/xM2)+ZZZP(xM2%)logP(Xj3/%)“f2|311ilBrl/2i3Pii1XiXi2)i i2 ii（巧3/%）、（4/玉内2）-1 log?e=ZZpCW?) Zpg/Xil)rl i2 i3卜力。g2 6=EEZP(/

7、Xi2)P(*,3/)一ZZZP(同车占3=0.H(X3/XiX2)</7(X3/Xi)当P(QQ_1=00寸等式成立(知/"2)=(/)=(%/同升2)=>P("2)P(%3/Xix)=p(Xi3/"2)P(XiXi2)=(3)P(税/)(/)=(/%/)=(/)(%/)=(七2%3/%)等式成立的条件悬I,X2,X3是马一氏链证明：H(X,X2.XJWH(X,)+H(XZ)+H(Xn)o证明：H(XlX2.JCn)=H(Xl)+H(X2/Xl)+H(X3/XiX2)+.+H(Xn/XlX2.JCn_)Z(X2;X,)>0=H(XNH(XJXJ

8、/(X3;X,X2)>0=>H(X3)>H(X3/X1X2)/(Xn；X|X?Xt)NO=H(Xn)NH(X/XX?X.J设有一个信源，它产生o,1序列的信息。它在任意时刻而且不论以前发生过什么符号，均按p(0)二,P(1)二的概率发出符号。(1)试问那个信源是不是是平稳的？试计算H(X/X,X2)及艮7(3)试计算并写出/信源中可能有的所有符号。解：(1)那个信源是平稳无经历信源。因为有这些词语：“它在任意时刻而且不论以前发生过什么符号”(2)H(X?)=2"(X)=-2x(0.41og0.4+0.61og0.6)=1.942万/孙甫。/H(XJXX、)=/(X,

9、)=-/?(A；)log/?(x1)=-(0.41og0.4+0.61og0.6)=0.971bit!symboli/=limH(X'/X、X、XnG=H(XJ=0971bit/symboIjV->»(3)H(X4)=4/7(X)=-4x(0.41og0.4+0.61og0.6)=3.884/7/7/5ynz/?6?/X，的所有符号：0000000100100011010001010110011110001 1001001110110101 1 10101 1mi一阶马尔可夫信源的状态图如以下图所示。信源彳的符号集为0,1,2。(1)求平稳后信源的概率散布；(2)求信源

10、的崎/-O解:(1)（）=p（e）pex/ex）+p（e2）p（e）/e2）< p（e2）=p（e2）p（e2/e2）+pp（e./ey）了）=P（e3）P（e3/6）+P（6）（6/ei）P（，）=（。）+（4）< p（e2）=p-p（e2）+p-p（e3）“（63）=（63）+（。）P（et）=p（e2）=p（e3）<.（）+（畛）+（63）=1p（0）=l/3< /?（e2）=l/3p&）=l/3P（X）=（q）（X/）+p（q）（七/电）=Pp（q）+Pp（e2）=（+）/3=1/3P（x2）=p（e2）p（x2/e2）+（q）p（W仁）=P,仁）+,p

11、（q）=（p+）/3="3（占）=P（S）P（%3/）+P（6）P（43/）=,（）+p&）=（p+p）/3=1/3一X1012'1/3i/31/3（2）"oc=-ZtP（4）p（号/4）logp（ej/）=一;"（4/4）bgP（G/4）+:（&/4）log（4/6）+；"（4/c）logp（e3/e,）+P（G/s）log（4/%）+；p（6/s）log（七/s）+1（/七）logp（e3/e2）o+；"（4/q）log（*/6）+：p（ejq）logp（q/q）+；P（q/e3）logpg/4）-1-111-11一

12、一=-Plog/7+-/?log/?+-plog/7+-/?log/;+;logp+qlog”=一（plog+p-log/?）bitIsymbol黑白气象图的消息只有黑色和白色两种，即信源后黑，白。设黑色显现的概率为P第二，白色显现的概率为/Y例=o(D假设图上黑白消息显现前后没有关联，求燧；(2)假设消息前后有关联，其依托关系为ZY白/仞=，P(黑/白)=，P(白/黑)二，P(黑/黑)=,求此一阶马尔可夫信源的焰儿；(3)别离求上述两种信源的剩余度，比较，和死的大小，并说明其物理含义。解：(1)H(X)=一工(玉)log(m)=-(0.3log0.3+0.71og0.7)=0.881hit/

13、symbolp(JR/3!)=0.Spl fl l'l)=o. 9P(G)=P(G)(6/6)+p(e2)p(el/e2)(.p(6)=p(e2)(s/g)+(q)p(g/6)(4)=0.8(6)+。.1(4)p(e2)=0.9p(e2)+。.2(6)(G2)=2(G)p(e1)+p(e2)=p(q)=l/3p(S)=2/3HlZP(C)P(“j/4)1°gJ储)1122-x0.81og0.8+-x0.21og0.2+x0.11og0.1+x0.91og0.9=0.553hit!symbol(3)= 11.9%”o-“8_log2-0.881H()"12Ho/log

14、2-0,553广7=-=-=44.7%H°log2H(X)>H2(X)表示的物理含义是：无经历信源的不确信度大于有经历信源的不确信度，有经历信源的结构化信息较多,能够进行较大程度的紧缩。JZ x)z JZ XJZ x)z a(2(3(4解同时掷出两个正常的骰子，也确实是各面呈现的概率都为1/6,求:“3和5同时显现”这事件的自信息；“两个1同时显现”这事件的自信息；两个点数的各类组合(无序)对的熠和平均信息量；两个点数之和(即2,3.，12组成的子集)的嫡；两个点数中至少有一个是1的自信息量。zx11111(%)=X+x=666618/(再)=-logp(Ar)=-log-=4

15、.170bif1o(2)p(Xl)=-x-=76636/(七)="log/?(A；)=-log-!-=5A10bit3o两个点数的排列如下:111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11,22,33,44,55,66的概率是LxL=-6636其他15个组合的概率是2xLx1=6618= 4.337 bit!symbol1111H(X)=-p(x.)log/?(%.)=-6xoo+5xogJoJolo1oy（4）参考上面的两个点数的排列，能够得出两个点数求和的概率散

16、布如下:"（X） = -Z （3）log （外）65367 1-69 1-910 11 12J_ J_ ?2 78 36.11,1-1151,1=-2xlog+2xlog+2xlog+2x-1o2-+2xlog+log3603618181212919363666=3.274bit!symbol(5)/7(x.)=Xxl1=r6636/(xr)=-log/?(xz)=-log=1.710bit某一无经历信源的符号集为0,1,已知f初=1/4,P（1）=3/4o（1）求符号的平均燧；（2）有100个符号组成的序列，求某一特定序列（例如有勿个“0”和（100-加个“1”）的自信息量的表达式

17、；（3）计算中序列的烯。解：（1）"(X) = - Z P(x) log (再)= 0.81 1 bit! symbol1313-iTlog7+7lo8T1.4444J严 3 ioo= 41.5+ 1.585 bit(%)=6/(x/)=-log/?(x.)=-log/7(X100)=10(W(X)=1OOx0.811=81.1bit/symhol对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合显现的相对频度如下：I冷12晴I暖8 忙冷 27 雨I暖 15 闲冷5 雨假设把这些频度看做概率测度，求：(1)忙闲的无条件焙；(2)天气状态和气温状

18、态已知时忙闲的条件崎；(3)从天气状态和气温状态取得的关于忙闲的信息。解：(1)依照忙闲的频率，取得忙闲的概率散布如下：XP(X)楷J03X)闲 40 , T03.(X)=一£(xt)loga)=-j=0.964b/r/5>7H/?o/(2)设忙闲为随机变量x,天气状态为随机变量匕气温状态为随机变量z"（xYZ）=-工ZZp（玉力z*）1。gp®匕z氏）12,12882712716,16=-log+log+log+logU0310310311031031031031038815155151212+log+102+log+log103103103(103103

19、103103103)=2.836bitIsymbolH(YZ)=NZ()/)logP(%Z*)(20t20232332,3228,28=-1024log+102H1021103J103103103103103103103；=1.977bit!symbolHkX/YZ)=H(XYZ)-H(YZ)=2.836-1.977=0.859bit!symbol(3)/(X;VZ)=H(X)-H(X/YZ)=0.964-0.859=0.159bit/symbol有两个二元随机变量才和匕它们的联合概率为并概念另一随机变量z=(一样乘积)，试计算：(1) H(X),H(Y),H(Z),H(XZ),(和；(2)

20、H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),和I(X;Y),l(X;Z),KY：Z),l(X;Y/Z),/和/87次解：(1)131(内)=(*X)+(玉y2)=+-=-ooZ311pCg)=pCqx)+(刈)=-+-=too2H(X)=一2P(M)logP(xi)=1bit/symboli1 31(y)=p(内y)+p*2>9=-+-=-ooZ311p(y2)=p(m乃)+(%)=g+g=彳oo2H(Y)=一(力)l°gP()'“=1bi"symbolJz=xy的概率散布如下：2 (J711AH(Z)=

21、-Z(zQ=log+-log-=0.544bit!symbol（玉）=（"）+（早2）（平2）=。（西石）=（2）=。.5（4）=（内4）+（飞|）73P（%Z|）=P（Z|）p（M2（）=-0.5=-ooP（Z2）=P（XZ2）+P（X2Z2）（七2）=仁2）=:8"（XZ）= -ZZ（玉 &）ogP（玉0 ）=1133 11 1-log- + -log- + -log-U1.4067/p（H）= （»Z|） + p（yZ2）/?（vlz2） = 0P（XZ） =，（y1） = 0.5（Z）= （%马）+（%©）73（力z】）=（Zi） - p

22、（y1Z| ） = -0.> = -oop（z2） = P（yz2） + P（y2z2）=1.406 bit!symbolJ/区型2）=。（再丫20）= 0。2）'佟2）= °（匹JlZ|）+P（M）'i%）=P（K凹）（再月4）=P（"*）=1/8P（M为4）+（/XG）=P（玉哥）113（匹4）=P（再Zi）一=-=-ZooP（%2yZ|）+P（X2凹z2）=p（x2%）3。2'佟1）=（力）=3O（刈4）=。p（*2yiZ）+p（x2y2z2）=P（x2y2）p（x2y2z2）=p（x2y2）=o，（xyz）=ZZp5Xzplog?p（n

23、力。）11333311=-log-+-log-+-log-+-log-=1.811bit/symbol188888888）"(x 丫)= -z Z p(± >' /)i°g2 (七匕)=113333111一-log-+-log-+-log-+-log-;=1.811bit/symbol<88888888)H(X/y)=H(XY)-H(r)=1.811-1=0.811hit/symbol/(y/X)=/7(Xr)-H(X)=1.811-1=0.811bit!symbolHX/Z)=H(XZ)-H(Z)=1.406-0.544=0.862bit!s

24、ymbolH(Z/X)=H(XZ)-H(X)=1.406-1=0.406bit/symbolH(Y/Z)=H(XZ)-HZ=1.406-0.544=0.862bit!symbolH(Z/Y)=A7(rz)-/7(r)=1.406-1=0.406bit/symbolH(X/YZ)=H(XYZ)-/7(rZ)=1.811-1.406=0.405bitIsymbolH(r/XZ)=H(XyZ)-/(XZ)=1.811-1.406=0.405bit/symbolH(Z/Xr)=H(XKZ)-H(Xr)=1.811-1.811=0bit/symbol(3)Z(X；y)=H(X)-H(X!Y)=1-0.8

25、11=0.189bit/symbol/(X;Z)=H(X)-H(X/Z)=1-0.862=0.138Z(r；Z)=H(r)-H(Y/Z)=1-0.862=0.138bit/symbolI(X-Y/Z)=H(X/Z)-H(X/YZ)=0.S62-0A05=0.451bit/symbolZ(r；Z/X)=H(r/X)-H(r/XZ)=0.862-0.405=0.457bit/symbolZ(X;Z/r)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol有两个随机变量彳和匕其和为2=彳+丫（一样加法），假设才和丫彼此独立，求证：H（X）WH（Z）,H（Y）WH（Z

26、）O证明：-Z=X+Yp(z&/再)=p(z&再)=<"亿/*）=一222（斗人）1。8心/为）=一2（为）Z忆/七）logP（Z&/Xj）=-2（怎）（匕）i°g2P（X）="（y）iLj_同理可得”（Z）Z（X）。给定声音样值X的概率密度为拉普拉斯散布p（X）=:T叫求，并证明它小于一样方差的正态变量的持续熠。解：= T°gg 匚 P")He(X)=一。p(x)logp(x)dt=-P(x)log1及-'""x其中：£ Aex ooe/Adx= bg> 匚;&

27、-Lp(x)loge""dxlog""x=loge%(产)=log?e":Xe-lxdoge-Ax)=e"：og2e=log2e22e：.He(X)=log+log2e=log-bit!symbolin=E(X)=|p(x)-xdx=jAe/X'xdx=Xe/Xxdx+£Ae/Axclx222.£%联仆Jl%'7(-)'w(-y)=禺犷'必=-%。4Vrx1,+81女xdx+xdx=02Jo2c>=e(x-/)2=E(x2)=p(x)./dx=；/iU，"x=1Ae；

28、xxdx持续随机变量彳和y的联合概率密度为：(*,)，)=,Jr2一.d12Jr2X，P(x)=WPW2Lk/办SJ“)"c(x)=-J：P(x)logP(x)dx=-1/7(A)10g2vr-7rdx-k=.J；,Wlog_Ldx-jp(x)logVr7c/xfk=1°g乙一JP(X)logJ/-Khtt加21=log-logr+1-log222=log2加-510g2ehit/symbol其中：=_r-logylr-x2dxJ-r=-rjylr1-x1loglr-xdxz4ro令x=rcosO-LrsinlogrsinOcl(rcos0kJ2=，Cr1sin2logrs

29、inOdOk%-4p-,=；sin-0logrsinOdO=J；sin'OXordO+£2sirreiogsin。/。4RIcos26jQ4£1cos28.=logrJ46+J；logsinOclO2r-2r-2r-2r-=logr£2dOlogr£2cos28/6+logsinOdO£2cos26logsinOdO=logr"sin2+(-ylog,2)-£2cos2。logsin比。2£=logr-1-二j；cos26logsinOdOy，=logr-1+log2e2其中：2Jf2cos28logsin

30、OdO17t27t=logsinsin28sin28logsin喟-£2sin26cllogsin62sin20比布J。sin0log2cos2OdO26l+cos28="-log.e2dOn-J。21r£1，工=-log2ejjdO-og2ej；cos2a/611£=-log2-log2esin2嘴=-1log2p(y)=(r<y<r)r-yJ-vyk加一()，)=p(x)“c(Y)="c(X)=log27-log2ehit/symbol2H.(Xr)=-JJp(xy)op(xy)dxdyR=-Jjp(xy)logjJA7/yR加

31、.=logmjp(xy)dxdyR=log2m,bit/symbol4(x；y)=hc(x)+Hc(y)-hc(xy)=210g2mlog2eogm=log27r-log2ebit/symbol每帧电视图像能够以为是由3X10'个像素组成的，所有像素均是独立转变，且每像素又取128个不同的亮度电平，并设亮度电平是等概显现，问每帧图像含有多少信息量？假设有一个广播员，在约10000个汉字当选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率散布，并彼此无依托)？假设要适当的描述此图像，广播员在口述中至少需要多少汉字？解：1）H(X)=logn

32、=logl28=7bit/symbolH(X1V)=/V/7(X)=3xlO5x7=2.1x106bit/symbol2）H（X）=log/?=logl0000=13.288biHsymbolH（Xn）=NH（X）=1OOOx13.288=13288bitlsymbol3）H（Xn）H（X）2.1xl0613.288=158037设X=X|X?X'是平稳离散有经历信源，试证明：A7（X1X2.XAr）=/7（X1）+/（X2/X1）4-7/（X3/X1X2）+.+/（XjV/X1X2.XAr_1）o证明：H（X】X”.Xn）=一2£2（土凡飞）i°g,飞）=NXZp

33、（=%）i°g“（%）（/%）,/（，/=NX（五/）iogp（五）-ZZ（因凡演）iogp（%/%）LJiL/一一ZZZ"（/%,飞）】ogp（/天加）=-Z（天）log（五）一ZZp（玉王2）logp（z/%）i2一ZX,？"（%演）iogp（q,/%,“必）nn%=/（%,）+H（X2/X1）+/7（X3/X1X2）+.+H（Xa./XiX2.XjV_1）设X=X1X2Xn是/V维高斯散布的持续信源，且儿及，尤的方不同离是b：,8,区3它们之间的相关系数夕(X,X,)=oaR=12Miw/)。试证明：力维高斯散布的持续信源炳1nHc(X)=H(XlX2.XN)=-og22i证明：相关系数夕（为勺）=0=iwj）,说明XX2.Xy是彼此独立的。：.hc(