概率论信息论基础考核试题及真题

概率论信息论基础考核试题及真题考试时长：120分钟满分：100分试卷名称：概率论与信息论基础考核试题及真题考核对象：电子信息、计算机、通信等相关专业本科二年级学生及行业初级从业者题型分值分布：-判断题（10题，每题2分）总分20分-单选题（10题，每题2分）总分20分-多选题（10题，每题2分）总分20分-案例分析（3题，每题6分）总分18分-论述题（2题，每题11分）总分22分总分：100分---一、判断题（每题2分，共20分）1.概率空间必须满足非负性、规范性且可数可加性。2.离散随机变量的期望值一定存在。3.信息熵是衡量信息不确定性的绝对指标，其值越大表示信息越不确定。4.熵率失真编码定理表明，任何失真下的最优编码率都存在下界。5.自信息量是衡量单个消息信息价值的基本单位。6.对于任意随机变量X，E[X^2]一定大于或等于（E[X]）^2。7.熵的归一化形式称为相对熵，其值恒为非负。8.无失真信源编码定理要求码率必须大于信源熵。9.条件熵H(X|Y)表示在已知Y信息后X的不确定性。10.对数似然函数在最大似然估计中达到最大值时，参数估计最优。二、单选题（每题2分，共20分）1.若随机变量X的分布律为P(X=k)=a/k（k=1,2,3,4），则a的值为（）。A.1B.2C.3D.42.已知X～N(μ,σ^2)，则P(X>μ)等于（）。A.0.5B.0.6827C.0.9544D.13.信息熵H(X)的单位是（）。A.比特（bit）B.赫兹（Hz）C.焦耳（J）D.摄氏度（℃）4.若X和Y相互独立，则H(X,Y)等于（）。A.H(X)+H(Y)B.H(X|Y)C.H(Y|X)D.05.熵率失真编码中，失真D越大，允许的码率R可以（）。A.越小B.越大C.不变D.无法确定6.自信息量I(X=x)的计算公式为（）。A.H(X)B.P(X=x)C.-logP(X=x)D.P(X=x)logP(X=x)7.若X～Poisson(λ)，则E[X]和Var[X]的值分别为（）。A.λ,λB.λ,λ^2C.2λ,λD.λ,2λ8.对数似然函数lnL(θ)在θ=θ时达到最大，则θ是（）。A.似然函数的极小值点B.似然函数的极大值点C.熵的最大值点D.条件期望的最小值点9.已知H(X|Y)=0，则X和Y的关系是（）。A.独立B.相关C.不确定D.正相关10.熵的归一化形式相对熵D(X||Y)的取值范围是（）。A.[0,1]B.(0,∞)C.[0,∞)D.(-∞,∞)三、多选题（每题2分，共20分）1.下列哪些性质属于概率分布的特征？（）A.非负性B.归一性C.可加性D.对数凹性2.信息熵H(X)具有的性质包括（）。A.非负性B.下凸性C.可加性D.最大值为logn3.熵率失真编码定理中，影响码率R的因素有（）。A.信源熵H(X)B.失真度量DC.熵约束条件D.编码效率4.条件熵H(X|Y)的取值范围是（）。A.[0,H(X)]B.[0,H(Y)]C.H(X)-H(Y)D.[0,∞)5.下列哪些随机变量服从二项分布？（）A.n次独立伯努利试验中成功次数B.泊松分布的极限形式C.超几何分布的特例D.离散均匀分布的推广6.最大似然估计的原理是（）。A.使似然函数最大B.使对数似然函数最大C.使参数估计无偏D.使参数估计最小方差7.熵的归一化形式相对熵D(X||Y)的应用场景包括（）。A.信息度量B.距离度量C.熵率失真编码D.机器学习正则化8.独立同分布随机变量的信息熵满足（）。A.H(X1)+H(X2)+...+H(Xn)B.nH(X)C.H(X1|X2,...,Xn)D.09.失真度量D的选择对编码的影响包括（）。A.影响码率下界B.影响编码复杂度C.影响解码性能D.影响信源冗余10.下列哪些编码定理属于信息论基础？（）A.无失真信源编码定理B.熵率失真编码定理C.联合典型序列定理D.信道编码定理四、案例分析（每题6分，共18分）1.信源编码问题：某信源发出消息的概率分布为P={0.4,0.3,0.2,0.1}，试计算该信源的熵H(X)，并设计一个霍夫曼编码方案，计算平均码长。2.信道编码问题：已知信道转移概率P(y|x)如下表，信源符号为A={0,1}，试计算信道容量C，并说明如何达到信道容量。||0|1||-------|-------|-------||0|0.9|0.1||1|0.2|0.8|3.失真度量与编码：设信源X的分布为P={0.6,0.4}，失真度量D(x,y)为x=y时D=0，x≠y时D=1，试计算平均失真D，并说明如何选择码率R满足失真约束。五、论述题（每题11分，共22分）1.熵与信息论意义：结合香农信息熵的定义，论述熵在信息论中的核心地位及其在通信系统设计中的应用价值。2.信道编码与可靠性：解释信道编码的基本原理，说明如何通过增加冗余提高通信可靠性，并举例说明常用信道编码方法（如卷积码、Turbo码）。---标准答案及解析一、判断题1.√2.√3.√4.√5.√6.√7.√8.√9.√10.√解析：-第3题：信息熵是信息不确定性的度量，值越大表示不确定性越大。-第6题：由柯西-施瓦茨不等式E[X^2]≥（E[X]）^2。-第9题：H(X|Y)=0表示X完全由Y决定，即X和Y独立。二、单选题1.B2.A3.A4.A5.B6.C7.A8.B9.A10.C解析：-第1题：由概率归一性∑P(X=k)=1，解得a=2。-第4题：独立随机变量熵可加，H(X,Y)=H(X)+H(Y)。-第8题：最大似然估计通过最大化似然函数或对数似然函数。三、多选题1.A,B2.A,B,C3.A,B,D4.A,B5.A,D6.A,B7.A,B,C,D8.A,B9.A,B,C,D10.A,B,C解析：-第2题：熵非负、下凸且对可数集可加。-第7题：相对熵用于度量分布差异，可作距离度量、正则化等。四、案例分析1.信源编码：-熵H(X)=-∑P(x)logP(x)=-[0.4log0.4+0.3log0.3+0.2log0.2+0.1log0.1]=1.361比特。-霍夫曼编码：0(11),1(10),2(01),3(00)，平均码长=0.4×2+0.3×2+0.2×2+0.1×2=1.8比特。2.信道编码：-信道容量C=max[I(X;Y)]=max[∑∑P(x,y)log(P(y|x)/P(y))]≈0.8比特。-达到容量需选择最优输入分布P(x)=P(0)=0.8,P(1)=0.2。3.失真度量：-平均失真D=∑∑P(x,y)D(x,y)=0.6×0+0.4×1=0.4。-码率R需满足R≥H(X)-D=1.361-0.4=0.961比特。五、论述题1.熵与信息论意义：-熵是信息论核心，度量信源不确定性，指导无失真编码（码率≥熵）。