2025年信息论期末题库及答案

2025年信息论期末题库及答案一、单项选择题（每题2分，共20分）1.若某离散信源符号X的概率分布为P(X=0)=0.2，P(X=1)=0.3，P(X=2)=0.5，则符号“2”的自信息量为（）A.1bitB.log₂2bitC.log₂(1/0.5)bitD.-log₁₀0.5bit答案：C2.关于离散信源熵H(X)，以下表述错误的是（）A.H(X)≥0B.当且仅当所有符号概率为0或1时，H(X)=0C.等概率分布时H(X)取得最大值D.H(X)的单位可以是nat（奈特）答案：B（当且仅当有一个符号概率为1，其余为0时，H(X)=0）3.设X和Y为两个离散随机变量，联合熵H(XY)、条件熵H(X|Y)和H(Y|X)、互信息I(X;Y)的关系正确的是（）A.H(XY)=H(X)+H(Y|X)B.I(X;Y)=H(X)+H(Y)-H(XY)C.H(X|Y)=H(X)-I(X;Y)D.以上均正确答案：D4.对于无噪无损信道，其信道容量C等于（）A.输入符号的最大熵B.输出符号的熵C.输入符号的熵D.互信息的最小值答案：A（无噪无损信道中，输出完全反映输入，此时信道容量等于输入符号的最大熵）5.设连续信源X服从均值为μ、方差为σ²的高斯分布，则其微分熵h(X)为（）A.(1/2)ln(2πeσ²)B.ln(2πσ²)C.(1/2)log₂(2πeσ²)D.log₂(2πσ²)答案：A6.以下关于率失真函数R(D)的描述，错误的是（）A.R(D)是失真度D的非递增函数B.R(0)等于信源的熵（当失真度为0时无失真编码）C.R(D)的下限为0（当D足够大时）D.R(D)与信源分布无关答案：D（R(D)与信源分布和失真度定义相关）7.已知某二元对称信道（BSC）的错误概率为p，则其信道容量C为（）A.1H(p)B.H(p)C.1+H(p)D.H(1-p)答案：A（二元对称信道容量公式C=1plog₂p(1-p)log₂(1-p)=1H(p)）8.对离散无记忆信源进行霍夫曼编码时，以下操作正确的是（）A.每次合并两个概率最小的符号B.合并后的新符号概率为两符号概率之差C.编码结果唯一D.编码效率一定低于香农限答案：A（霍夫曼编码每次合并概率最小的两个符号，合并概率为两者之和；编码结果不唯一但平均码长最短；效率可达香农限）9.设两个独立信源X和Y的熵分别为H(X)=2bit/符号，H(Y)=3bit/符号，则联合信源XY的熵H(XY)为（）A.2bit/符号B.3bit/符号C.5bit/符号D.6bit/符号答案：C（独立信源的联合熵等于各熵之和）10.关于信道容量的物理意义，以下表述最准确的是（）A.信道能传输的最大平均互信息B.信道能传输的最小平均互信息C.信道输入符号的最大熵D.信道输出符号的最小熵答案：A二、填空题（每题2分，共20分）1.自信息量的定义为I(x_i)=__________，单位为bit时对数底为__________。答案：-logP(x_i)；22.离散信源的熵H(X)是信源符号的__________自信息量的__________。答案：平均；数学期望3.联合熵H(XY)与条件熵H(X|Y)的关系为H(XY)=__________，与互信息I(X;Y)的关系为I(X;Y)=__________。答案：H(Y)+H(X|Y)；H(X)+H(Y)-H(XY)4.对于M元等概率离散信源，其最大熵为__________，此时各符号概率为__________。答案：log₂Mbit/符号；1/M5.连续信源的微分熵与离散熵的本质区别在于微分熵__________（填“具有”或“不具有”）绝对意义，仅反映__________。答案：不具有；相对不确定性6.信道容量C是信道能够传输的__________，其计算式为C=__________（用互信息表示）。答案：最大平均互信息；max_{P(X)}I(X;Y)7.率失真函数R(D)的定义是在平均失真度不超过D的条件下，信源所需的__________，其下限为__________。答案：最小信息率；0（当D≥D_max时）8.霍夫曼编码的平均码长L满足__________（用熵H(X)和码元进制r表示），其编码效率η=__________。答案：H_r(X)≤L<H_r(X)+1；H(X)/(Llog₂r)（若为二进制则log₂r=1）9.高斯加性白噪声信道（AWGN）的容量公式为C=__________，其中P为信号功率，N为噪声功率，B为带宽。答案：Blog₂(1+P/N)10.设信源符号X的概率分布为P(0)=0.6，P(1)=0.4，则其熵H(X)=__________bit/符号（保留两位小数）。答案：0.97（计算：-0.6log₂0.6-0.4log₂0.4≈0.97）三、简答题（每题6分，共30分）1.简述熵的物理意义，并说明为什么等概率分布时熵最大。答案：熵是信源不确定性的度量，反映信源输出前的平均不确定程度和输出后的平均信息量。对于离散信源，熵H(X)=-ΣP(x_i)logP(x_i)，根据凸函数性质（log函数为上凸函数），由Jensen不等式可知，当所有P(x_i)相等时，ΣP(x_i)logP(x_i)取得最小值（因log(1/M)为常数），故H(X)取得最大值logM。2.说明互信息I(X;Y)的对称性，并解释其物理意义。答案：互信息I(X;Y)=I(Y;X)，具有对称性。物理意义：X中包含Y的信息量等于Y中包含X的信息量，反映了两个随机变量之间的统计依赖关系，即通过一个变量获得另一个变量的信息量。3.比较离散信源熵与连续信源微分熵的异同。答案：相同点：均为不确定性的度量，数学形式类似（离散熵为ΣP(x_i)I(x_i)，微分熵为-∫p(x)logp(x)dx）。不同点：离散熵具有绝对意义（表示实际平均信息量），微分熵无绝对意义（可能为负），仅反映相对不确定性；离散熵的最大值有限（等概率时），连续信源微分熵的最大值与约束条件（如功率、幅度）相关（如高斯信源在方差固定时微分熵最大）。4.简述计算离散无记忆信道容量的步骤。答案：①确定信道转移概率矩阵P(Y|X)；②写出互信息I(X;Y)=H(Y)-H(Y|X)（或H(X)-H(X|Y)）；③将I(X;Y)表示为输入概率分布P(X)的函数；④对P(X)求最大化，得到信道容量C=max_{P(X)}I(X;Y)。对于对称信道，可利用对称性简化计算（如等概率输入时达到容量）。5.分析率失真函数R(D)的主要性质。答案：①非负性：R(D)≥0；②非递增性：D增大时，R(D)减小（允许失真越大，所需信息率越低）；③凸性：R(D)是D的下凸函数；④R(0)=H(X)（无失真时需保留全部信息）；⑤当D≥D_max（最大允许失真）时，R(D)=0（无需传输信息）。四、计算题（每题10分，共30分）1.某离散无记忆信源符号集为{a,b,c,d}，概率分布为P(a)=0.4，P(b)=0.3，P(c)=0.2，P(d)=0.1。（1）计算各符号的自信息量；（2）计算信源的熵H(X)；（3）若信源以1000符号/秒的速率输出，求平均信息速率。答案：（1）I(a)=-log₂0.4≈1.32bit；I(b)=-log₂0.3≈1.74bit；I(c)=-log₂0.2≈2.32bit；I(d)=-log₂0.1≈3.32bit。（2）H(X)=-0.4×1.32-0.3×1.74-0.2×2.32-0.1×3.32≈1.85bit/符号（精确计算：-0.4log₂0.4-0.3log₂0.3-0.2log₂0.2-0.1log₂0.1≈1.85）。（3）平均信息速率R=1000符号/秒×1.85bit/符号=1850bit/s。2.某二元信道的转移矩阵为：P(Y其中输入X={0,1}，输出Y={0,1}，输入概率P(X=0)=0.6，P(X=1)=0.4。（1）计算联合概率P(X=0,Y=0)、P(X=0,Y=1)、P(X=1,Y=0)、P(X=1,Y=1)；（2）计算条件熵H(Y|X)；（3）计算互信息I(X;Y)。答案：（1）联合概率：P(0,0)=P(0)P(0|0)=0.6×0.8=0.48；P(0,1)=0.6×0.2=0.12；P(1,0)=0.4×0.3=0.12；P(1,1)=0.4×0.7=0.28。（2）条件熵H(Y|X)=-ΣP(x_i)ΣP(y_j|x_i)log₂P(y_j|x_i)=-[0.6×(0.8log₂0.8+0.2log₂0.2)+0.4×(0.3log₂0.3+0.7log₂0.7)]计算各项：0.8log₂0.8≈0.8×(-0.3219)=-0.2575；0.2log₂0.2≈0.2×(-2.3219)=-0.4644；0.3log₂0.3≈0.3×(-1.7369)=-0.5211；0.7log₂0.7≈0.7×(-0.5146)=-0.3602；则H(Y|X)=-[0.6×(-0.2575-0.4644)+0.4×(-0.5211-0.3602)]=-[0.6×(-0.7219)+0.4×(-0.8813)]=-[-0.4331-0.3525]=-(-0.7856)=0.7856bit/符号。（3）互信息I(X;Y)=H(Y)-H(Y|X)。先求H(Y)：P(Y=0)=P(0,0)+P(1,0)=0.48+0.12=0.6；P(Y=1)=0.12+0.28=0.4；H(Y)=-0.6log₂0.6-0.4log₂0.4≈0.9710bit/符号；故I(X;Y)=0.9710-0.7856≈0.1854bit/符号。3.对信源符号集{a,b,c,d,e}进行霍夫曼编码，各符号概率为P(a)=0.35，P(b)=0.3，P(c)=0.2，P(d)=0.1，P(e)=0.05。（1）构造霍夫曼编码树；（2）写出各符号的编码结果；（3）计算平均码长L和编码效率η（设为二进制编码）。答案：（1）霍夫曼编码步骤：①排序：e(0.05),d(0.1),c(0.2),b(0.3),a(0.35)；②合并e和d（0.15），新序列：0.15,c(0.2),b(0.3),a(0.35)；③合并0.15和c(0.2)=0.35，新序列：0.35,b(0.3),a(0.35)；④合并b(0.3)和0.35=0.65，新序列：a(0.35),0.65；⑤合并a(0.35)和0.65=1.0（完成）。（2）编码结果（从根到叶，左0右1）：a：合并最后两步中，a在右侧→1；b：在第四步中与0.35合并，b在左侧→01；c：在第三步中与0.15合并，c在右侧→001；d：在第二步中与e合并，d在右侧→0001；e：在第二步中与d合并，e在左侧→0000。（或编