信息论与编码第二章答案.doc

第二章 信息的度量2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。2.3 熵是对信源什么物理量的度量？答：平均信息量2.4 设信道输入符号集为x1,x2,xk，则平均每个信道输入符号所能携带的最大信息量是多少？答：2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。答：2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)q(xi)，说明事件yi的出现告知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)p,则（1-p）/p1，所以，在此区间上0，H(x)单调递增。又该函数是在区间0,1上是关于p=1/2对称的函数，那么在区间0.5,1上单调递减。所以，当p=1/2时，H(X)达到最大值。(2)二次扩展后的矩阵：2.10 一副扑克牌（不用大小王），试问(1) 任意特定排列给出的信息量是多少？（2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？（3）从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的熵为多少？（4）若（3）中不计颜色，熵又为多少？解：（1）I(xi)= =225.6（比特/符号）（2）I(x)= -(q)= -log()=log(i)(3)H(X)= N*H(x)=52*(-*log()=log52=2*log13=7.4(比特/符号)（4）H(x)= -log()=3.7(比特/符号)2.11 （1）一个无偏骰子，掷骰子的熵为多少？（2）如果骰子被改造使得某点出现的概率与其点数成正比，熵为多少？（3）一对无偏骰子，个掷一次，得到总点数为7，问得到多少信息量？解：（1）H(X)=-log(1/6)=2.58(比特/符号) (2) H(X)= -(*(log)+*(log)+*(log)+*(log)+*(log)=2.068(比特/符号)(3) I(x)= -log(*3*2)= log6=2.585(比特/符号)2.12 一个盒子中放有100个球，其中60个是黑色，40个球是白色。（1）随机摸取一个球，求获得的自信息量。（2）做放回摸取n次，求这n次所得到的平均互信息量。解:(1) I(x)= -log()= log100(2)I(x,y)=log1002.13 已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量?解：病人：y1，健康人:y2 ; 2.14 一个8元编码系统，码长为4，每个码字的第一个字符相同（用于同步），若每秒产生1000个码字，求信息传输率Rt。答：信息传输率定义为Rt=H（x）/（t*n）其中，H（x）= -iq(xi)logq（xi）所以Rt=9*1000/4=2250（Bit/Sec）2.15 一副拼板，其中3块圆形，4块方形，5块三角形，随机排成一行，每一种排列都是等可能的，如果要求不能有2块方形相邻，可以得到多少关于拼版排列的信息？答：I（X|Y）= -log12！3！*4！*5！12！3！*4！*5！=log542.16 设有一个传输系统，等概传输0、1、2、3、4、5六个数字，奇数在传输时以0.5的概率错成其他奇数，偶数能正确接收，求此传输系统的平均互信息量。答：由题意得：H（Y）=（-16log16）*6=log6=2.585（bit/符号） H（Y|X）=i=05p(xi)H(Y|xi)=0.75（bit/符号）I（X；Y）=H（Y）-H（Y|X）=2.585-0.75=1.835（bit/符号）2.17 等概信源消息集：u0，u1，u7，编码为u0=000，u1=001， u7=111，通过错误概率为的二进制对称信道BSC传输，在接收u4=100的过程中，求： （1）1与u4之间的互信息量； （2）10与u4之间的互信息量； （3）100与u4之间的互信息量。答：（1）由I（1；u4）=logp(1|u4)q(1)；又q(1)=i=07p(ui) p(1|ui)=184(1-p)+4p=12推出I（1；u4）=log（1-p）1/2=log2(1-p) （2）同理，可得I（10；u4）=2log2(1-p) （3）同理，可得I（100；u4）=3log2(1-p)2.18 求出概率分布qk，k =0,1,2，使在限制条件下，熵达到最大值。答：时取得最大；最大为：2.19 X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。(1) H(YZ|X)=H(Y|Z)+H(Z|X)(2) H(YZ|X)=H(Y|X)+H(Z|XY)(3) H(X|Z)=H(X|Y)+H(Y|Z)证明：(1)H(Y|Z)+H(Z|X)= =；将其代入上式计算即可得原始成立；（2）：H(YZ|X)-(H(Y|Z)+H(Z|XY)=（3）：H(X|Z)-H(X|Y)-H(Y|Z)= =02.20 对任意概率事件集X,Y,Z,证明下述三角不等式成立 答：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y);H(YZ)=H(Y)+H(Z|Y)=H(Z)+H(Y|Z);H(XZ)=H(Z)+H(Z|X)=H(Z)+H(X|Z);将以上三式代入原式可证得：；2.21 令XYZ为马尔可夫链，证明：(1)I(X;Z|Y)=0(2)I(XY;Z)=I(Y;Z)(3)I(Y;Z|X)=I(Y;Z)+I(X;Z)(4)I(Y;Z|X)=I(Y;Z)(说明：对本题的马尔可夫链了解不够，答案仅供参考)答：(1) I(X;Z|Y)=H(Z|Y)-H(Z|XY);根据马尔可夫链因此：I（X;Z|Y）=0;(2)由（1）同理可得：I(XY;Z)=I(Y;Z);(3)根据（1）（2）可得：I(Y;Z|X)=I(Y;Z)+I(X;Z);(4) 2.22 证明概率分布的熵为H（x）=。答：二次扩张后，可以将信源记为如下形式：二由以上的扩张后的信源我们可以得到：；因此：H（x）=。2.23 应用熵与互信息的链规则证明：I(X;Y)= 。答：2.24 信源信息集X=0,1，信宿信息集Y=0,1，信源等概分布，通过二进制信道传输，求：(1) 该系统的平均互信息量(2) 接收到y=0后，所提供的关于x的平均互信息量IX；0。答：(1) 由设信宿符号接收概率分别为和bit/符号(2) bit/符号从而0.9954-0.8497=0.146bit/符号2.25 传输系统的输入符号集X=x0