信息论与编码第二章

1、 第二章2.9 （1）对于离散无记忆信源DMS X qX =x1 x2p 1-p,试证明： H(X)=H2(p)=-p log p-(1-p)log(1-p)当p=1/2时，H(X)达到最大值。 （2）对（1）中的DMS，考虑它的二次扩展信源X（2）=x1x1,x1x2,x2x1,x2x2,证明：H(X(2)=2H(X)。 解：（1） 函数H(X)=-plogp-(1-p)log(1-p)中的变量p在0到1中取值，从函数的结构上可以知道该函数在区间0,1上是关于p=1/2对称的函数。H(X)=-plogp-(1-p)log(1-p) = -log（p-1）-pp（1-p）p1ln2+1ln2(

2、1-p)-1ln2+log(1-p)-pln2(1-p)=log1-pln2(1-p)=log（1-p）p0在区间0，0.5上1-pp,则（1-p）/p1，所以log，在此区间上H(x)0，H(x)单调递增。又该函数是在区间0,1上是关于p=1/2对称的函数，那么在区间0.5,1上单调递减。所以，H(X)=H2(p)=-plogp-(1-p)log(1-p)在p=1/2时，H(X)达到最大值。(2)二次扩展后的矩阵：Xq(X)=x1x1 x1x2 x2x1 x2x2 p2 p1-p p1-p （1-p）2H(X(2)=-p2logp2-p(1-p)log2p(1-p)-2p(1-p)logp（

3、1-p）=2-plogp(1-p)-(1-p)log(1-p)p-2(1-p)log(1-p)p-(1-p)log(1-p)=2H(X )2.11 (1)一个无偏骰子，掷骰子的熵为多少？（2） 如果骰子的被改造使得某点出现的概率与其点数成正比，那么熵为多少？（3）一对无偏骰子，各掷一次，得到总点数为7，问得到多少信息量？ 解：（1） H（x）= -log1/6=log6=2.58(bit/符号) （2）由q(xi)=kxi得21k=1 即 k=1/21H(x)=-1/21(log1/21)-2/21(log2/21)-3/21(log3/21)-4/21(log4/21)-5/21(log5/

4、21)-6/21(log6/21) =2.36（bit/符号）（3）I（A+B=7）=-log1/6=log6=2.58(bit)2.12 一个盒子中放有100个球，其中60个球是黑色的，40个球是白色的。（1）随机摸取一个球，求获得的自信息量。（2）进行放回摸取n次，求这n次所得到的平均自信息量。 解： （1）I（xi）=-log1/100=log100(bit) (2)总信息量为：nI(x1)P(x1)+nI(x2)P(x2) 平均：(1/n) nI(x1)P(x1)+nI(x2)P(x2)=0.93(bit)2.19 给定信源xq(x)=x1x20.60.4,(1) 该信源是平稳信源吗？

5、计算信源熵；（2）计算H（x3），并列出信源x3q(x3);(3) 计算H（x3|x1x2）及N维扩展信源在N趋于无穷时的熵limNHN（x）. 解：（1） H（x）=-0.6log0.6-0.4log0.4 (bit/符号)H（x）=NH(x) 是平稳信源（2）H(x3)=i=13H(xi)=3H(x)=-1.8log0.6-1.2log0.4 (bit/符号)X=x3=x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2记xixjxt=bk,k=07 则 x3q(x3)=b0b1b227/12518/12518/125 b3b4b5

6、18/12512/12512/125 b6b712/1258/125 (3) H(x3|x1x2)=-ijpx1x2x3log(x3|x1x2) N维扩展信源在N趋于无穷时，q(x(i)j)几乎相等。所以，-i+jlogq(xj(i)=-ijlog1=0所以，N维扩展信源在N趋于无穷时的熵limNHNx=0。2.27 证明几何分布xq(x)=x1 x2 xi p p1-p p(1-p)i-1 的熵为H(X)=H2(p）p。证明：由题意可得，x的二维扩展概率分布为： xixjqxixj= x1x1 x1x2 x1xi x2x1 x2x2 p2 p1-p p21-pi-1 p21-p p21-p2 x2xi & xix1 xix2 xixip2(1-p)i-1 p2(1-p)i-1 p2(1-p)i-1 p2(1-p)i-1H（x）=-plogp-p(1-p)logp(1-p)-p(1-p)i-1logp(1-p)