2025年大学《数学与应用数学》专业题库- 数据压缩算法中的信息熵理论

2025年大学《数学与应用数学》专业题库——数据压缩算法中的信息熵理论考试时间：______分钟总分：______分姓名：______一、选择题（每小题3分，共15分。请将正确选项的字母填在题后的括号内。）1.已知信源符号A、B、C出现的概率分别为1/2,1/4,1/4，则符号A的自信息量I(A)为（）。(A)1比特(B)2比特(C)3比特(D)4比特2.对于一个由两个符号A和B组成的无记忆信源，符号A出现的概率为p，则该信源产生的消息“AA”的自信息量为（）。(A)-2pln(p)比特(B)-2pln(1-p)比特(C)-pln(p)比特(D)-pln(1-p)比特3.设有一个由符号X和Y组成的随机变量对(X,Y)，若P(X=0)=1/2,P(X=1)=1/2，P(Y|X=0)=1/3,P(Y|X=1)=2/3，则条件熵H(Y|X)等于（）。(A)0比特(B)0.5比特(C)0.75比特(D)1比特4.一个有记忆信源，其第一符号的概率分布为P(X1=0)=3/4,P(X1=1)=1/4，且后继符号的条件概率如下：P(X2=0|X1=0)=1/2,P(X2=0|X1=1)=1/4，P(X2=1|X1=0)=1/2,P(X2=1|X1=1)=3/4。该信源产生的符号序列“010”的联合自信息量为（）。(A)-3比特(B)-3.5比特(C)-4比特(D)-4.5比特5.若一个信源的消息集合是等概率分布的，即每个消息出现的概率都是1/n，则该信源的理论最大熵值为（）。(A)0比特(B)ln(n)比特(C)n比特(D)nln(n)比特二、填空题（每小题4分，共20分。请将答案填在题后的横线上。）6.在信息论中，自信息量I(x)=_______。7.对于一个离散无记忆信源，其熵H(X)等于单个符号熵的_______倍。8.香农熵H(X)是衡量_______的一个重要指标。9.条件熵H(Y|X)表示在已知_______的条件下，随机变量Y的不确定性。10.若两个随机变量X和Y统计独立，则它们的互信息I(X;Y)=_______。三、计算题（每小题10分，共40分。请写出详细的计算过程。）11.设有一个信源，其符号集合为{A,B,C,D}，各符号出现的概率分别为P(A)=1/2,P(B)=1/4,P(C)=1/8,P(D)=1/8。请计算该信源的香农熵H(X)。12.已知信源输出符号A和符号B的概率分别为P(A)=3/4,P(B)=1/4。请计算符号A和符号B的自信息量I(A)和I(B)。13.对于一个有记忆信源，第一符号X1的概率分布为P(X1=0)=2/3,P(X1=1)=1/3。给定X1的值后，第二符号X2的条件概率分布为：P(X2=0|X1=0)=1/2,P(X2=0|X1=1)=1/4,P(X2=1|X1=0)=1/2,P(X2=1|X1=1)=3/4。请计算条件熵H(X2|X1)。14.设有两个随机变量X和Y，它们的联合概率分布如下表所示（表中未列出的概率为0）：||Y=0|Y=1||-------|--------|--------||X=0|1/8|1/8||X=1|1/4|1/4|请计算联合熵H(X,Y)。四、简答题（每小题15分，共30分。请简要回答下列问题。）15.简述什么是信息熵，并说明其在数据压缩中的意义。16.判断下列说法是否正确，并简要说明理由：“对于任何一个离散信源，其熵值都小于或等于该信源可能达到的最大熵值。”---试卷答案一、选择题1.(B)2.(A)3.(C)4.(D)5.(B)二、填空题6.-p(x)ln(p(x))7.一8.信息源的熵或信息源的不确定性9.随机变量X10.0三、计算题11.解：H(X)=-[P(A)lnP(A)+P(B)lnP(B)+P(C)lnP(C)+P(D)lnP(D)]=-[(1/2)ln(1/2)+(1/4)ln(1/4)+(1/8)ln(1/8)+(1/8)ln(1/8)]=-(1/2)*(-1)-(1/4)*(-2)-(1/8)*(-3)-(1/8)*(-3)=1/2+1/2+3/8+3/8=2+6/8=2+3/4=2.75比特12.解：I(A)=-P(A)lnP(A)=-(3/4)ln(3/4)=-(3/4)*ln(3/4)I(B)=-P(B)lnP(B)=-(1/4)ln(1/4)=-(1/4)*ln(1/4)（注：结果通常保留自然对数形式或近似值，如I(A)≈0.811比特，I(B)≈1.386比特）13.解：H(X2|X1)=-[P(X1=0)P(X2=0|X1=0)lnP(X2=0|X1=0)+P(X1=0)P(X2=1|X1=0)lnP(X2=1|X1=0)]+[-P(X1=1)P(X2=0|X1=1)lnP(X2=0|X1=1)-P(X1=1)P(X2=1|X1=1)lnP(X2=1|X1=1)]=-[(2/3)*(1/2)*ln(1/2)+(2/3)*(1/2)*ln(1/2)]+[-(1/3)*(1/4)*ln(1/4)-(1/3)*(3/4)*ln(3/4)]=-(1/3)*ln(1/2)-(1/3)*ln(1/2)+[-(1/12)*ln(1/4)-(1/4)*ln(3/4)]=-(2/3)*ln(1/2)-(1/12)*ln(1/4)-(1/4)*ln(3/4)=(2/3)*1-(1/12)*(2)-(1/4)*ln(3/4)=2/3-1/6-(1/4)*ln(3/4)=1/2-(1/4)*ln(3/4)=0.5-(1/4)*(-0.2877)（近似值）=0.5+0.0719=0.5719比特（保留四位小数）14.解：H(X,Y)=-[P(X=0,Y=0)lnP(X=0,Y=0)+P(X=0,Y=1)lnP(X=0,Y=1)+P(X=1,Y=0)lnP(X=1,Y=0)+P(X=1,Y=1)lnP(X=1,Y=1)]=-[(1/8)ln(1/8)+(1/8)ln(1/8)+(1/4)ln(1/4)+(1/4)ln(1/4)]=-[(1/8)*(-3)+(1/8)*(-3)+(1/4)*(-2)+(1/4)*(-2)]=-(1/8)*(-3)-(1/8)*(-3)-(1/4)*(-2)-(1/4)*(-2)=3/8+3/8+1/2+1/2=6/8+2/2=6/8+8/8=14/8=7/4=1.75比特四、简答题15.答：信息熵H(X)是一个度量随机变量X所含信息不确定性的度量。对于离散随机变量，H(X)=-∑P(x)lnP(x)，其中P(x)是x出现的概率。熵的值越小，表示信源消息的出现越确定，不确定性越小；熵的值越大，表示信源消息的出现越不确定。在数据压缩中，信息熵提供了无失真信源编码的理论极限（香农编码定理），即任何无失真压缩算法的平均码长至少要以信源的熵为下限。熵值越低，信源越“不冗余”，理论上压缩潜力越大。16.答：正确。理由：根据熵的定义和性质，对于离散信源X，其熵H(X)=-∑P(x)lnP(x)。根据概率的性质，0≤P(x)≤1。当且仅当信源是等概率分布时，即P(x)=1/n（对所有x），此时有lnP(x)=ln(1/n)=-ln(n)，且所有概率相等，求和时每项都相同。因此，H(X)=-n