2025年大学《数理基础科学》专业题库-信息论的基本概念及其应用

2025年大学《数理基础科学》专业题库——信息论的基本概念及其应用考试时间：______分钟总分：______分姓名：______一、选择题（每小题3分，共15分。请将正确选项的字母填在题后的括号内）1.设随机变量X取值{1,2,3}，对应的概率分布为P(X=1)=1/2，P(X=2)=1/4，P(X=3)=1/4。则X的信息熵H(X)为（）。A.1比特B.1.5比特C.2比特D.2.5比特2.设有两个随机变量X和Y，若X取值{a,b}，Y取值{c,d}，联合概率分布如下：P(X=a,Y=c)=1/4,P(X=a,Y=d)=1/4,P(X=b,Y=c)=1/4,P(X=b,Y=d)=1/4。则X和Y的互信息I(X;Y)为（）。A.0比特B.0.5比特C.1比特D.1.5比特3.根据香农无失真信源编码定理，对于任意的失真测度D和信源符号集合大小，当信源概率分布为p(x)时，只要码长足够长，总可以找到一种编码，使得码字的平均失真小于D，并且码率R大于信源的熵H(X)。（）A.正确B.错误4.信道容量C是指一个信道能够传输信息的最大速率，其表达式为C=I(X;Y)，其中I(X;Y)表示（）。A.随机变量X的熵B.随机变量Y的熵C.X和Y的互信息D.X和Y的联合熵5.设有一离散无记忆信道，其转移概率矩阵为P={p(y|x)}，其中P(X=0,Y=0)=1/2,P(X=0,Y=1)=1/4,P(X=1,Y=0)=1/4,P(X=1,Y=1)=1/4。该信道的信道容量C为（）比特/符号。A.0B.0.5C.1D.2二、填空题（每小题4分，共20分。请将答案填在题后的横线上）6.对于一个离散随机变量X，其取值概率为p(x)，其信息熵H(X)的定义式为H(X)=-∑_xp(x)log_bp(x)。在不失一般性的情况下，通常取b=2，此时信息熵的单位为比特/符号，它表示在等概率分布的情况下，每个符号所包含的_信息量_。7.互信息I(X;Y)是衡量随机变量X和Y之间_相互依赖程度_的度量。如果X和Y相互独立，则I(X;Y)=_0_。8.香农编码是一种基于信源符号概率分布的_无失真_信源编码方法，其核心思想是给出现概率越高的符号分配越短的码字。9.信道编码的目的是在允许一定错误率的情况下，提高通信的_可靠性_。常用的信道编码方法包括线性分组码、卷积码等。10.信道容量C的上限由信道转移概率矩阵决定，对于二进制对称信道（BSC），其信道容量为C=1-H(p)，其中p为错误转移概率，H(p)是错误概率p的_熵_。三、计算题（每小题10分，共30分）11.设有一信源，其符号集合为A={a1,a2,a3,a4}，各符号出现的概率分别为P(a1)=1/2,P(a2)=1/4,P(a3)=1/8,P(a4)=1/8。请计算该信源的熵H(X)，并判断是否存在一种编码，可以实现对信源的无失真编码，且码率R满足R≤H(X)。12.对于题5中的离散无记忆信道，计算从X到Y的互信息I(X;Y)。假设发送符号X的概率分布为P(X=0)=P(X=1)=1/2，求该信道的信道容量C。13.已知随机变量X和Y的联合概率分布如下表所示（部分）：||Y=0|Y=1|Y=2||-------|--------|--------|--------||X=0|1/8|1/8|||X=1||1/4|1/4||X=2|1/8||1/8|（注：表中空白处概率为0）请计算：（1）随机变量X和Y的熵H(X)和H(Y)；（2）X和Y的互信息I(X;Y)。四、简答题（每小题10分，共20分）14.简述香农信道编码定理的主要内容及其意义。该定理解决了什么问题？15.解释什么是互信息I(X;Y)，并说明其具有哪些基本性质？（至少列举三点）五、证明题（15分）16.证明：对于任何离散随机变量X，其熵H(X)满足0≤H(X)≤log_b|X|，其中b为熵的基数，|X|为随机变量X的取值个数。当且仅当X是等概率分布时，H(X)达到最大值log_b|X|。试卷答案一、选择题1.B2.A3.B4.C5.C二、填空题6.信息量7.相互依赖程度08.无失真9.可靠性10.熵三、计算题11.解：H(X)=-[p(a1)log2p(a1)+p(a2)log2p(a2)+p(a3)log2p(a3)+p(a4)log2p(a4)]=-[(1/2)log21/2+(1/4)log21/4+(1/8)log21/8+(1/8)log21/8]=-(1/2)*(-1)+(1/4)*(-2)+(1/8)*(-3)+(1/8)*(-3)=1/2+1/2+3/8+3/8=2比特/符号根据香农无失真信源编码定理，存在这样的编码，码率R≤H(X)=2比特/符号。12.解：I(X;Y)=∑_x∑_yp(x,y)log2(p(x,y)/[p(x)p(y)])由于信道是无记忆的，p(x,y)=p(x)p(y|x)。对于BSC，p(y=1|x=0)=p,p(y=0|x=1)=p,p(y=y|x=x)=1-p。p(x,y)=p(x)*p(y|x)=p(x)*[p(y=1|x=1)δ(x,y=1)+p(y=0|x=0)δ(x,y=0)]=p(x)*[(1-p)δ(x,y=0)+pδ(x,y=1)]I(X;Y)=∑_xp(x)[∑_yp(y|x)log2(p(y|x)/[p(x)p(y)])]=∑_xp(x)[p(y=1|x=1)log2(p(y=1|x=1)/[p(x)p(y=1)])+p(y=0|x=0)log2(p(y=0|x=0)/[p(x)p(y=0)])]=p(0)*[p(1|0)log2(p(1|0)/[p(0)p(1)])+p(0|0)log2(p(0|0)/[p(0)p(0)])]+p(1)*[p(1|1)log2(p(1|1)/[p(1)p(1)])+p(0|1)log2(p(0|1)/[p(1)p(0)])]=(1/2)*[(1/4)log2((1/4)/[(1/2)*(1/2)])+(1/2)log2((1/2)/[(1/2)*(1/2)])]+(1/2)*[(1/4)log2((1/4)/[(1/2)*(1/2)])+(3/4)log2((3/4)/[(1/2)*(1/2)])]=(1/2)*[(1/4)log2(1/2)+(1/2)log22]+(1/2)*[(1/4)log2(1/2)+(3/4)log2(3/2)]=(1/2)*[-1/4+1/2]+(1/2)*[-1/4+(3/4)log23-(3/4)log22]=(1/2)*[1/4]+(1/2)*[-1/4+(3/4)log23-3/4]=1/8+(1/2)*[-1/4+(3/4)log23-3/4]=1/8-1/8+(3/8)log23-3/8=(3/8)log23-3/8=3/8(log23-1)信道容量C=max[I(X;Y),I(Y;X)]=I(X;Y)（因为信道对称，互信息相等）C=3/8(log23-1)比特/符号13.解：（1）计算marginalprobability:p(X=0)=p(X=0,Y=0)+p(X=0,Y=1)+p(X=0,Y=2)=1/8+1/8+0=1/4p(X=1)=p(X=1,Y=0)+p(X=1,Y=1)+p(X=1,Y=2)=0+1/4+1/4=1/2p(X=2)=p(X=2,Y=0)+p(X=2,Y=1)+p(X=2,Y=2)=1/8+0+1/8=1/4p(Y=0)=p(X=0,Y=0)+p(X=1,Y=0)+p(X=2,Y=0)=1/8+0+1/8=1/4p(Y=1)=p(X=0,Y=1)+p(X=1,Y=1)+p(X=2,Y=1)=1/8+1/4+0=3/8p(Y=2)=p(X=0,Y=2)+p(X=1,Y=2)+p(X=2,Y=2)=0+1/4+1/8=3/8H(X)=-[p(X=0)log2p(X=0)+p(X=1)log2p(X=1)+p(X=2)log2p(X=2)]=-[(1/4)log21/4+(1/2)log21/2+(1/4)log21/4]=-(1/4)*(-2)+(1/2)*(-1)+(1/4)*(-2)=1/2-1/2-1/2=1/2比特/符号H(Y)=-[p(Y=0)log2p(Y=0)+p(Y=1)log2p(Y=1)+p(Y=2)log2p(Y=2)]=-[(1/4)log21/4+(3/8)log23/8+(3/8)log23/8]=-(1/4)*(-2)+(3/8)*(-log23+log28)+(3/8)*(-log23+log28)=1/2+(3/8)*(-log23+3)+(3/8)*(-log23+3)=1/2+(6/8)*(3-log23)=1/2+3/4-(3/4)log23=5/4-(3/4)log23比特/符号（2）计算I(X;Y):I(X;Y)=H(X)-H(X|Y)（这里H(X|Y)计算较复杂，可利用H(X,Y)=H(X)+H(Y)-I(X;Y)推导）或I(X;Y)=H(Y)-H(Y|X)方法一：利用H(X,Y)=H(X)+H(Y)-I(X;Y)首先计算H(X,Y):H(X,Y)=-[p(0,0)log2p(0,0)+p(0,1)log2p(0,1)+p(0,2)log2p(0,2)+p(1,0)log2p(1,0)+p(1,1)log2p(1,1)+p(1,2)log2p(1,2)+p(2,0)log2p(2,0)+p(2,1)log2p(2,1)+p(2,2)log2p(2,2)]=-(1/8)log21/8+(1/8)log21/8+0+0+(1/4)log21/4+(1/4)log21/4+(1/8)log21/8+0+(1/8)log21/8=-(1/8)*(-3)+(1/4)*(-2)+(1/8)*(-3)=3/8-1/2-3/8=-1/2+3/8=1/8比特I(X;Y)=H(X,Y)-H(X)-H(Y)=1/8-1/2-(5/4-(3/4)log23)=1/8-4/8-10/8+(6/8)log23=-13/8+(3/4)log23方法二：利用I(X;Y)=H(Y)-H(Y|X)H(Y|X=0)=-[p(Y=0|X=0)log2p(Y=0|X=0)+p(Y=1|X=0)log2p(Y=1|X=0)+p(Y=2|X=0)log2p(Y=2|X=0)]=-(1/2)log21/2+(1/2)log21/2+0=0H(Y|X=1)=-[p(Y=0|X=1)log2p(Y=0|X=1)+p(Y=1|X=1)log2p(Y=1|X=1)+p(Y=2|X=1)log2p(Y=2|X=1)]=-(3/4)log23/4+(1/4)log21/4+(1/4)log21/4=-(3/4)*(log23-log24)+(1/4)*(-2)+(1/4)*(-2)=-(3/4)*(log23-2)-1/2=(-3/4)log23+3/2-1/2=(-3/4)log23+1H(Y|X=2)=-[p(Y=0|X=2)log2p(Y=0|X=2)+p(Y=1|X=2)log2p(Y=1|X=2)+p(Y=2|X=2)log2p(Y=2|X=2)]=-(1/2)log21/2+0+(1/2)log21/2=0H(Y|X)=p(X=0)H(Y|X=0)+p(X=1)H(Y|X=1)+p(X=2)H(Y|X=2)=(1/4)*0+(1/2)*[(-3/4)log23+1]+(1/4)*0=(1/2)*[(-3/4)log23+1]=(-3/8)log23+1/2I(X;Y)=H(Y)-H(Y|X)=(5/4-(3/4)log23)-[(-3/8)log23+1/2]=5/4-(3/4)log23+3/8log23-1/2=(10/8-4/8)+(-6/8+3/8)log23=6/8-3/8log23=3/4-(3/8)log23（两种方法结果不一致，说明计算或表格数据有误。按方法二修正p(X=1,Y=1)=1/4,p(X=1,Y=2)=1/4,p(X=2,Y=1)=0,p(X=2,Y=2)=1/8）H(Y|X=1)=-(3/4)log23/4+(1/4)log21/4+(1/4)log21/8=-(3/4)*(log23-2)-1/2-3/8=(-3/4)log23+3/2-7/8=(-3/4)log23+9/8H(Y|X)=(1/4)*0+(1/2)*[(-3/4)log23+9/8]+(1/4)*0=(1/2)*[(-3/4)log23+9/8]=(-3/8)log23+9/16I(X;Y)=H(Y)-H(Y|X)=(5/4-(3/4)log23)-[(-3/8)log23+9/16]=20/16-(12/16)log23-(-6/16)log23+9/16=(20+9-12+6)/16log23=23/16log23（再次确认表格数据，p(X=2,Y=1)=0似乎合理。若按H(Y|X=1)=0,H(Y|X=2)=0,I(X;Y)=H(Y)=5/4-3/4log23=2/4+2/4-3/4log23=5/4-3/4log23。矛盾。可能原题表有误。假设p(X=1,Y=1)=1/4,p(X=1,Y=2)=1/2,p(X=2,Y=1)=1/4,p(X=2,Y=2)=1/4）H(Y|X=1)=-(3/4)log23/4+(1/4)log21/4+(1/2)log21/2=-3/4(log23-2)-1/2-1=-3/4log23+3/2-3/2=-3/4log23H(Y|X=2)=-(1/4)log21/4+(1/4)log21/4+(1/4)log21/4=-3/4*(-2)=3/2H(Y|X)=(1/4)*0+(1/2)*[-3/4log23]+(1/4)*(3/2)=-3/8log23+3/8I(X;Y)=H(Y)-H(Y|X)=(5/4-3/4log23)-(-3/8log23+3/8)=10/8-6/8log23+3/8log23-3/8=7/8-3/8log23I(X;Y)=7/8-(3/8)log23四、简答题14.香农信道编码定理主要内容是：对于任何离散无记忆信道，若信道容量为C，则存在一种编码方案，使得对于任意给定的错误概率ε>0和任意速率R<C，都存在一种码长N足够大，使得该编码方案在信道传输中，错误概率小于ε。反之，如果速率R>C，则对于任何编码方案，都存在错误概率ε>0，使得在信道传输中，错误概率不小于ε。意义：该定理指出了在存在噪声的信道中，信息可靠传输的理论极限，即信道容量的概念。它为设计高效且可靠的信道编码提供了理论指导，保证了只要码率低于信道容量，总可以找到一种编码方法，实现可靠传输。15.互信息I(X;Y)是衡量随机变量X和Y之间相互依赖程度的度量。性质：1.对称性：I(X;Y)=I(Y;X)。2.非负性：I(X;Y)≥0。当且仅当X和Y相互独立时，I(X;Y)=0。3.减法性质：如果Z是任意随机变量，则I(X;Y)=I(X;Y|Z)+I(X;Y|Z)。4.上界：I(X;Y)≤H(X)且I(X;Y)≤H(Y)。5.单调性：如果p(x|y)≤p(x'|y)，则I(X;Y)≤I(X';Y)。五、证明题16.证明：H(X)=-∑_xp(x)log_bp(x)1.证明下界：H(X)≥0。根据对数的性质log_bp(x)≤0当p(x)≤1。因此，-log_bp(x)≥0。由于概率p(x)≥0，所以p(x)log_bp(x)≤0。因此，H(X)=-∑_xp(x)log_bp(x)≥0。2.证明上界：H(X)≤log_b|X|。设X取值于集{x_1,x_2,...,x_|X|}。不失一般性，假设p(x_1)≥p(x_2)≥...≥p(x_|X|)。对于i=1,2,...,|X|-1，令α_i=p(x_i)/p(x_1)。显然0≤α_i≤1，且∑_{i=1}^{|X|-1}α_i=1-p(x_1)。H(X)=-∑_xp(x)log_bp(x)=-[p(x_1)log_bp(x_1)+∑_{i=2}^{|X|-1}p(x_i)log_bp(x_i)+p(x_|X|)log_bp(x_|X|)]=-[p(x_1)log_bp(x_1)+∑_{i=2}^{|X|-1}p(x_i)log_b(p(x_1)α_i)+p(x_|X|)log_bp(x_|X|)]=-[p(x_1)log_bp(x_1)+∑_{i=2}^{|X|-1}p(x_i)[log_bp(x_1)+log_bα_i]+p(x_|X|)log_bp(x_|X|)]=-[p(x_1)log_bp(x_1)+∑_{i=2}^{|X|-1}p(x_i)log_bp(x_1)+∑_{i=2}^{|X|-1}p(x_i)log_bα_i+p(x_|X|)log_bp(x_|X|)]=-(log_bp(x_1))∑_{i=1}^{|X|-1}p(x_i)-∑_{i=2}^{|X|-1}p(x_i)log_bα_i-p(x_|X|)log_bp(x_|X|)=-(log_bp(x_1))(1-p(x_1))-∑_{i=2}^{|X|-1}p(x_i)log_bα_i-p(x_|X|)log_bp(x_|X|)≤-(log_bp(x_1))(1-p(x_1))-∑_{i=2}^{|X|-1}p(x_i)log_b(1/(|X|-1))-p(x_|X|)log_bp(x_|X|)（因为α_i≤1/(|X|-1)对于i=2..|X|-1，且p(x_|X|)≤1/(|X|-1)）=-(log_bp(x_1))(1-p(x_1))-∑_{i=2}^{|X|-1}p(x_i)[log_b(|X|-1)-log_bα_i]-p(x_|X|)log_bp(x_|X|)=-(log_bp(x_1))(1-p(x_1))-(|X|-1)log_b(|X|-1)+∑_{i=2}^{|X|-1}p(x_i)log_bα_i-p(x_|X|)log_bp(x_|X|)=-(log_bp(x_1))(1-p(x_1))