信息论与纠错编码题库

第二章 信息的度量2.1 信源在何种分布时，熵值最大？又在何种分布时，熵值最小？答：信源在等概率分布时熵值最大；信源有一个为1，其余为0时熵值最小。2.2 平均互信息量I(X;Y)与信源概率分布q(x)有何关系？与p(y|x)又是什么关系？答：若信道给定，I(X;Y)是q(x)的上凸形函数；若信源给定，I(X;Y)是q(y|x)的下凸形函数。2.4 设信道输入符号集为x1,x2,xk，则平均每个信道输入符号所能携带的最大信息量是多少？答：2.5 根据平均互信息量的链规则，写出I(X;YZ)的表达式。答：2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？答：互信息量，若互信息量取负值，即Q(xi|yj)q(xi)，说明事件yi的出现告知的是xi出现的可能性更小了。从通信角度看，视xi为发送符号，yi为接收符号，Q(xi|yj)p,则（1-p）/p1，所以，在此区间上0，H(x)单调递增。又该函数是在区间0,1上是关于p=1/2对称的函数，那么在区间0.5,1上单调递减。所以，当p=1/2时，H(X)达到最大值。(2)二次扩展后的矩阵：2.10 一副扑克牌（不用大小王），试问(1) 任意特定排列给出的信息量是多少？（2）从52张牌中抽取13张，所给出的点数都不相同时得到多少信息量？（3）从52张牌中任意抽取1张，然后放回，结果试为从DMS中取得样本，这个DMS的熵为多少？（4）若（3）中不计颜色，熵又为多少？解：（1）I(xi)= =225.6（比特/符号）（2）I(x)= -(q)= -log()=log(i)(3)H(X)= N*H(x)=52*(-*log()=log52=2*log13=7.4(比特/符号)（4）H(x)= -log()=3.7(比特/符号)2.13已知平均每100个人中有2个患有某种病，为了查明病情进行某项指标的化验。化验结果对病人总是阳性，而对于健康人来说，这项指标有一半可能为阳性，一半可能为阴性。问这项化验对查明病情提供了多少信息量?解：病人：y1，健康人:y2 ; 2.14 一个8元编码系统，码长为4，每个码字的第一个字符相同（用于同步），若每秒产生1000个码字，求信息传输率Rt。答：信息传输率定义为Rt=H（x）/（t*n）其中，H（x）= -logq（xi）所以Rt=9*1000/4=2250（Bit/Sec）2.17 等概信源消息集：u0，u1，u7，编码为u0=000，u1=001， u7=111，通过错误概率为的二进制对称信道BSC传输，在接收u4=100的过程中，求： （1）1与u4之间的互信息量； （2）10与u4之间的互信息量； （3）100与u4之间的互信息量。答：（1）由I（1；u4）=log；又q(1)= p(1|ui)=4(1-p)+4p=推出I（1；u4）=log=log2(1-p) （2）同理，可得I（10；u4）=2log2(1-p) （3）同理，可得I（100；u4）=3log2(1-p)2.19 X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件。(1) H(YZ|X)=H(Y|Z)+H(Z|X)(2) H(YZ|X)=H(Y|X)+H(Z|XY)(3) H(X|Z)=H(X|Y)+H(Y|Z)证明：(1)H(Y|Z)+H(Z|X)= =；将其代入上式计算即可得原始成立；（2）：H(YZ|X)-(H(Y|Z)+H(Z|XY)=（3）：H(X|Z)-H(X|Y)-H(Y|Z)= =02.24 信源信息集X=0,1，信宿信息集Y=0,1，信源等概分布，通过二进制信道传输，求：(1) 该系统的平均互信息量(2) 接收到y=0后，所