第二章信源熵练习题

1、第一章绪论练习题一、填空题信息是事物运动状态或存在方式的的描述，不确定性可以用TOC o 1-5 h z概率來表达，因而可以用概率论与随机过程來描述信源输出的消息。单符号信源用概率空间来描述，即信源符号的及其O信源的某一种取值概率大，则其不确定性（度）;相反，某一种取值概率小，则其不确定性（度）。信源发出消息，传输信息的过程是：发出消息之前，信源即将发出什么消息存在不确定性（度），不确定性（度）的大小由消息的概率决定；发出某个具体消息后，就消除了对应大小的。在这一过程中，从未知到己知，传递了信息，信息的大小就是。个随机事件发生某一结果后所带來的信息量称为h信息量，简称H信息,其定义为1（兀）=

2、-10笑P（兀）_，白信息量的单位与所用的有关。这就是香农信息的度量规则。联合自信息是联合事件发生时所带來的信息量；条件自信息量是带有条件是事件发生时所带來的信息量。离散单符号信源爛是信源中各个消息符号（随机变量各个取值）不确定度（或者自信息量）的数学期望,代表了信息源的平均不确定度,记作H（X）,用数学式子表达为H（X）=EI（兀）=一工p（耳）logp（xQ。1=1离散信源爛有最大值，其取得最大值的条件是离散信源;离散信源爛一定有最大值的原因是爛函数是輕o例如，包含11个不同离散消息的信源X的爛H（X）log2n（选填、2、W或者二），当满足X中条件时，上式取得等号。联合爛是联合离散符号集

3、合XY上，联合消息兀为的联合鬥信息量的数学期望(或者概率统计/加权平均)，在数学上表达为nntnmH(XY)=工工p(兀yjl(%yj=-工工p(%yjlogp(兀yj。i=lj=li=lj=l条件爛是联合离散符号集合XYJL,条件h信息量的的数学期望(或者概率统计/加权平均)，在数学上表达为Ximnmh(x/y)=Pyja/yj=p(兀yjogp(/y3)i=lj=li=lj=l平均符号爛是离散平稳信源输出N长的信源符号序列中平均每个信源符号所携带的信息量称为平均符号爛，记为Hn(X),数学上表达为HN(x)=A7H(x1x2.xN)。相关长度为L的一般有记忆序列信源的爛为h(x1x2.xl

4、)=h(x1)+h(x2/x1)+h(x3/x1x2)+.+h(xl/x1x2.xl_1),特别，当相关长度为2时H(XXJ=H(XJ+H(xyxj,当序列信源为N次扩展信源时其爛值为H(Xn)=NH(X)o极限爛一若离散平稳信源序列长度N趋丁无穷时，平均符号爛的极限存在，则称此极限为离散平稳信源的极限爛(也称爛率)，记为Hg(X)，在数学上表达为Hg(X)=limHn(X)=limH(务冬.吝)N-coNt8NM阶马尔科夫信源信源的剩余度(冗余度)任何离散信源只耍它的消息符号等概条件，其信源爛达到最大值H。,即理想信源每个消息符号平均承载的信息量的最大能力为H.；实际信源由丁信源消息符号概率

5、分布不均等或者前后发出消息的相互关联，从而使实际爛值H/卜T-Ho,即实际承载的信息量小于其最大能力H.。丁是，实际信源消息符号承载信息的能力有剩余，此即信源的剩余度(冗余度)，在数学上表达为/=1-7=1-。连续信源的绝对爛为无穷大,但相对嫡为有限值,在数学上表达为Hc(X)=-px(x)logpx(x)(bc,连续信源相对爛不满足非负性在实际问题中，常遇到的是爛之间的差，如互信息量，因而常用相对爛代替绝对爛进行研究。与离散信源爛相似也可以定义出连续信源的相对联合爛、相对条件爛等概念。连续信源最大相对嫡定理：1)峰值功率受限(取值幅度受限)时，均匀分布的连续信源爛值最大，H(X)=logr(

6、b_a)；2)平均功率受限(方差受限)时,高斯分布的信源爛值最大，Hc(X)=-log.2心:23)均值受限时，指数分布的信源爛值最大，H,X)=lo%me连续信源的绝对爛为无穷大，因此用任何离散消息符号去对连续信源进行编码时必然存在部分信息丢失(失真)，而只能实现限失真编码。爛功率与q(x)分布的实际信源爛值相等的高斯分布信源的实际平均功率的限定值。互信息是信道输出端接收到消息符号y后，从消息符号y获得的关于输入端发出某个消息符号x的信息量，记为I(x;y),在数学上表达为i(;yj=log=i(兀)-1(莓/比)。互信息具有对称性。平均互信息是互信息在对应联合概率空间上的数学期望(概率统计

7、平均/概率加权平均)，也具有对称性I(X;Y)=I(Y;X),有三种表达形式：1)I（X;Y）=H（X）-H（X/Y）；2）I（Y;X）=H（Y）-H（Y/X）:3）I（X;Y）=H（X）+H（Y）-H（XY）o平均互信息l(x；Y)=fPypiog,啤孚是信源概率分布P(兀)1=1j=iP(Yj)的上凸函数，即在定义域内有最大值存在；平均互信息是信道传递概率分布P(y/x)的下凸函数，即在定义域内有最小值存在。二、选择题TOC o 1-5 h z关于h信息量和离散信源爛的下列说法正确的是()白信息量20,离散信源爛20；B.h信息量W0,离散信源爛W0；C.白信息量$0,离散信源爛WO；D.

8、h信息量W0,离散信源爛20；关于连续信源绝对爛和相对源爛的下列说法正确的是()A.绝对爛20,相对源爛必定$0；B.绝对爛W0,相对源爛必定W0；C.绝对爛$0,相对源爛不一定WO；D.绝对爛W0,相对源爛不一定$0关于互信息和平均互信息的下列说法正确的是()A.互信息取值20,但平均互信息WO；B.互信息W0,但平均互信息W0；C.互信息可正可负，但平均互信息20；D.互信息W0,但平均互信息20；下列选项中()能建立信源的概率空间各事件互不包含，且的概率满足00时，hix0的关系，并注意logx=lnxloge,得np(ax)H(X)-logn述P(aJ1=11loge=npQJf丄一f

9、P(6)】oge=1=1n1=1条件爛不大丁无条件爛即H(X/Y)H(X)证明：H(X/Y)=-工工p(y3)P(兀|为)log2p(兀IX)丄j=-工p(yj工p(Ix)嗨2p(%IyjTOC o 1-5 h zji8=limH(XXoX”_Xh)N-aN=lim丄NH(X)=H(X)=0.971bit/symbolNT8NH(X4)=4H(X)=-4x(0.41og0.4+0.61og0.6)=3.884bit/symbolX的所有符号：000000010010001101000101011001111000100110101011110011011110mi马尔科夫信源问题见PPT例题和

10、习题每帧电视图像可以认为是由3X105个像素组成的，所有像素均是独立变化，且每像素乂取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字來口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描述此图像，广播员在口述中至少需耍多少汉字？解：1)H(X)=logn=logl28=7bit/symbolH(Xn)=NH(X)=3x105x7=2.1X106bit/symbol2)H(X)=logn=logl0000=13.288bit/symbolH(Xn)=NH

11、(X)=1000 x13.288=13288bit/symbol3)=158037H(Xn)_2.1X106H(X)13.288设有一连续随机变量，其概率密度函数P(x)=bx20 x0)的爛HcCO；试求Y=2X的爛HcCO。解：1)Hc(X)=-匚f(x)logf(x)dx=一f(x)logbx2dx=_logbff(x)dx-If(x)logx2dxJRJR=-logb-2bx2logxdxi2baa3=-logblog9e/、bx/ba3,T%(x)=,Fx(a)=1a3.HC(X)=-logblog一bit/symbole2)vOx0y-AaAya+AFY(y)=P(Yy)=P(X+Ay)=P(Xy-=Jabx-ctx=-(y-f(y)=F(y)=b(y-刃2Hc(y)=-Jrf(刃嗨f(y)dy=-JRf(y)logb(y-A)2dy=-logb-Jrf(y)dy-Jrf(y)log(y-A)2dy=-logb-2bjR(y-A)2log(y-刃d(y-A)=-logb-3logbit/symbol9eFv(y)=?(y-Q3,FyG+a)=-=ia/.H(Y)=-logblogbit/symbolev0 xa0fa/.0y2aFY(y)=P(Yy)=P(2Xy)=P(X)Zrf(y)=F,(y)=y2oHc(Y)=-|rf(y)logf(y)dy=