2025年大学《统计学》专业题库- 信息熵与信息检索技术研究

2025年大学《统计学》专业题库——信息熵与信息检索技术研究考试时间：______分钟总分：______分姓名：______一、简述香农信息熵的定义及其主要性质。请至少列举三种性质并简要说明。二、设有一个信息源，其可能输出的符号为A,B,C,D，各符号出现的概率分别为P(A)=0.4,P(B)=0.3,P(C)=0.2,P(D)=0.1。计算该信息源的理论熵（香农熵）。三、已知两个随机变量X和Y，其联合概率分布如下表所示（部分）：|X\Y|0|1||-----|-----|-----||0|0.1|0.2||1|0.3|?|假设P(X=1)=0.6，计算P(Y=1|X=1)和条件熵H(Y|X)。四、在信息检索中，什么是查准率（Precision）和查全率（Recall）？它们分别衡量了检索系统的哪些方面？并说明两者之间存在通常怎样的关系。五、简述向量空间模型（VectorSpaceModel,VSM）的基本思想。在VSM中，如何表示一个文档和一个查询？六、信息增益（InformationGain）通常用于特征选择或决策树的构建。请解释信息增益的定义，并说明在信息检索的文本分类场景下，如何利用信息增益来选择一个最有区分度的文本特征？七、论述信息熵理论在信息检索系统性能评估中的作用。可以结合具体的熵相关指标或方法进行说明。八、假设我们正在构建一个基于文档词频（TF）的简单信息检索排名模型。请简述如何结合信息熵的概念（例如，使用逆文档频率IDF）来改进单纯的词频模型，并解释其背后的原理。试卷答案一、定义：香农信息熵是度量一个随机变量所含信息量的统计量，对于一个离散随机变量X，其可能取值为x₁,x₂,...,xₙ，且取各个值的概率为P(x₁),P(x₂),...,P(xₙ)，则X的信息熵定义为：H(X)=-Σᵢ<0xE2><0x82><0x99>P(xᵢ)log₂P(xᵢ)。（其中Σ表示求和，i从1到n，log₂表示以2为底的对数，且约定0log₀=0）主要性质：1.非负性：H(X)≥0。熵总是非负的，因为它是概率的负对数和。2.熵的极值：对于离散随机变量X，如果只取两个值，且P(x₁)=1,P(x₂)=0，则H(X)=0，即熵在变量确定时取最小值0。如果两个值等概率发生，即P(x₁)=P(x₂)=0.5，则H(X)=1，在变量等概率时取最大值（以2为底的对数时）。3.可加性/扩展性：若随机变量X₁和X₂相互独立，则H(X₁,X₂)=H(X₁)+H(X₂)。即联合熵等于各个边际熵之和。4.线性约束下的增性：对于随机变量X₁,X₂,...,Xₙ和常数a₁,a₂,...,aₙ，如果Σᵢ<0xE2><0x82><0x99>aᵢ=1，则H(Σᵢ<0xE2><0x82><0x99>aᵢXᵢ)≤H(X₁)+H(X₂)+...+H(Xₙ)。特别地，对于熵H(X)≤H(aX)当a>1或0<a<1时（aX表示将X的取值缩放a倍，这里理解为约束）。（此性质根据对熵的扩展理解给出，标准形式可能略有不同，但核心思想是熵随变量范围变化而变化）二、解析思路：直接应用香农熵的公式进行计算。H(X)=-[P(A)log₂P(A)+P(B)log₂P(B)+P(C)log₂P(C)+P(D)log₂P(D)]H(X)=-[0.4log₂0.4+0.3log₂0.3+0.2log₂0.2+0.1log₂0.1]三、解析思路：1.计算P(Y=1)：根据联合概率表和边缘概率P(X=1)=0.6，有P(Y=1)=P(Y=1,X=0)+P(Y=1,X=1)=0.1+P(Y=1,X=1)。由于Σ<0xE1><0xB5><0xA3>P(X=x)P(Y=y|x)=P(X=x)（对所有y求和），可以得到P(X=1)=P(Y=0,X=1)+P(Y=1,X=1)。已知P(X=1)=0.6，P(Y=0,X=1)=0.3，所以0.6=0.3+P(Y=1,X=1)，从而P(Y=1,X=1)=0.3。因此P(Y=1)=0.1+0.3=0.4。2.计算P(Y=1|X=1)：P(Y=1|X=1)=P(Y=1,X=1)/P(X=1)=0.3/0.6=0.5。3.计算H(Y|X)：H(Y|X)=-Σ<0xE1><0xB5><0xA3>P(Y=y|X=x)P(X=x)*log₂[P(Y=y|X=x)P(X=x)]需要计算P(Y=0|X=0)=P(Y=0,X=0)/P(X=0)=0.1/(1-P(X=1))=0.1/(1-0.6)=0.1/0.4=0.25。需要计算P(Y=0|X=1)=P(Y=0,X=1)/P(X=1)=0.3/0.6=0.5。所以H(Y|X)=-[P(X=0)*P(Y=0|X=0)*log₂P(Y=0|X=0)+P(X=1)*P(Y=0|X=1)*log₂P(Y=0|X=1)+P(X=0)*P(Y=1|X=0)*log₂P(Y=1|X=0)+P(X=1)*P(Y=1|X=1)*log₂P(Y=1|X=1)]注意：表中未给出P(Y=1|X=0)和P(Y=0|X=0)，假设P(Y=1|X=0)=1-P(Y=0|X=0)=1-0.25=0.75，P(Y=0|X=0)=0.25。H(Y|X)=-[(1-0.6)*0.25*log₂0.25+0.6*0.5*log₂0.5+(1-0.6)*0.75*log₂0.75+0.6*0.5*log₂0.5]H(Y|X)=-[0.4*0.25*log₂0.25+0.6*0.5*log₂0.5+0.4*0.75*log₂0.75+0.6*0.5*log₂0.5]H(Y|X)=-[0.1*log₂0.25+0.3*log₂0.5+0.3*log₂0.75+0.3*log₂0.5]H(Y|X)=-[0.1*(-2)+0.3*(-1)+0.3*log₂(3/4)+0.3*(-1)]H(Y|X)=-[-0.2-0.3-0.3*log₂3+0.3*log₂4+(-0.3)]H(Y|X)=-[-0.8-0.3*log₂3+0.3*2]H(Y|X)=0.6+0.3*log₂3四、解析思路：定义查准率和查全率，并解释其衡量内容。关系通常用查准率-查全率曲线（P-R曲线）描述，说明两者往往相互制约，提高其中一个可能会导致另一个下降，需要根据具体应用场景进行权衡。查准率（Precision）：检索结果中相关文档所占的比例。计算公式为Precision=TP/(TP+FP)，其中TP（TruePositives）是检索结果中确实相关的文档数量，FP（FalsePositives）是检索结果中不相关的文档数量。查准率衡量了检索结果的有效性或准确性，高查准率意味着错误返回的文档较少。查全率（Recall）：检索结果中包含的所有相关文档中，被成功检索出来的比例。计算公式为Recall=TP/(TP+FN)，其中FN（FalseNegatives）是所有相关文档中未被检索出来的数量。查全率衡量了检索系统的覆盖能力或查全程度，高查全率意味着能够找到尽可能多的相关文档。关系：查准率和查全率通常是相互制约的。在固定检索结果规模的情况下，试图检索出更多相关文档（提高查全率）往往会引入更多不相关文档（降低查准率），反之亦然。这种权衡关系通常通过查准率-查全率曲线（P-R曲线）来可视化，曲线下的面积（AreaUndertheCurve,AUC）可以用来综合评价检索系统的性能。五、解析思路：描述VSM的基本思想，包括文档和查询的向量表示方式。基本思想：向量空间模型将文本文档和查询表示为高维空间中的向量。这个向量空间有一个基，通常由文档集合中出现的所有不同词语（或称为词典、词汇表）组成。每个文档或查询都可以表示为一个向量，向量的维度等于词典中词语的数量。向量中的每个元素（分量）通常表示对应词语在文档或查询中的一种权重，最常用的是词频（TermFrequency,TF）。例如，文档D可以表示为(w₁,w₂,...,w<0xE2><0x82><0x99>)，其中wi是词语i在文档D中的权重。查询Q同样表示为一个向量(q₁,q₂,...,q<0xE2><0x82><0x99>)，其中qi是词语i在查询Q中的权重。文档表示：通常使用词频（TF）作为权重，即wi=count(tᵢinD)。表示词语tᵢ在文档D中出现的次数。有时会进行归一化处理。查询表示：查询也可以用词频表示，即qi=count(tᵢinQ)。用户输入的查询字符串被转换成包含相同词典词语的向量。六、解析思路：定义信息增益，并说明其在特征选择/文本分类中的应用。定义：信息增益（InformationGain,IG）是衡量一个特征（属性）对于区分数据集类别能力大小的指标。对于特征A，其将数据集D划分为多个子集D<0xE1><0xB5><0xA3>₁,D<0xE1><0xB5><0xA3>₂,...,D<0xE1><0xB5><0xA3><0xE2><0x82><0x99>，这些子集包含了D中所有属于相应类别的样本。信息增益定义为原始数据集D的熵与划分后各子集熵的加权平均（期望）之差。计算公式为：IG(A)=H(D)-Σ<0xE1><0xB5><0xA3><0xE2><0x82><0x99>P(D<0xE1><0xB5><0xA3>ᵢ)H(D<0xE1><0xB5><0xA3>ᵢ)，其中P(D<0xE1><0xB5><0xA3>ᵢ)是子集D<0xE1><0xB5><0xA3>ᵢ在D中的相对频率。应用：在信息检索的文本分类场景下，信息增益可以用来评估一个文本特征（例如，一个词语）对于区分不同类别的文档是否有帮助。计算每个候选特征（词语）的信息增益。选择信息增益最大的特征。信息增益高的特征意味着该特征的取值在不同类别文档中分布差异很大，具有更强的区分能力。因此，可以利用信息增益来执行特征选择（FeatureSelection），即从原始词汇表中挑选出一部分最具区分力的词语作为特征，用于构建更简单、更有效的分类模型。这有助于减少特征空间的维度，降低计算复杂度，并可能提高模型的泛化能力。七、解析思路：论述熵理论在评估信息检索系统性能中的作用，结合熵相关指标或方法。作用：信息熵理论为信息检索系统性能评估提供了重要的理论视角和度量工具。评估检索效果：1.平均字段长度（MeanFieldLength,MFL）：在基于概率的检索模型（如贝叶斯模型）中，可以计算理想情况下（熵最小化）的平均字段长度。例如，对于一个单字段检索，理想字段长度MFL=H(D)/λ，其中H(D)是文档集合D的熵，λ是一个归一化参数。实际检索的平均字段长度MFL'=(Σ<0xE1><0xB5><0xA3>ᵢ|Fᵢ|*P(Cᵢ))/P(Q)，其中Fᵢ是查询Q包含的第i个词，|Fᵢ|是该词在查询中的频率，P(Cᵢ)是查询Q命中文档Cᵢ的概率，P(Q)是查询Q出现的概率。通过比较MFL和MFL'，可以评价检索系统接近理想状态的程度。MFL'越小，说明检索越“精炼”，系统性能越好。2.熵权法（EntropyWeightMethod）：可以利用熵的概念来客观地确定信息检索系统中各个评价指标（如查准率、查全率、响应时间等）的权重。计算各指标的熵值，然后根据熵值的大小来确定权重。熵值越小，表明该指标提供的信息量越大，其权重应越高。这有助于构建更全面的、考虑各方面因素的综合评价指标体系。衡量信息相关性和检索质量：熵可以用来量化信息的不确定性或信息量。例如，一个检索结果的相关性可以与其熵有关，高相关性的结果可能具有更低的“不确定性熵”。虽然直接用熵衡量相关性较难，但熵的概念有助于理解信息检索的目标——用更少、更确定的信息（低熵）来描述或检索我们需要的内容。理解模型行为：熵可以帮助理解某些检索模型（如基于概率的模型）的行为。例如，模型中计算的文档概率P(D|Q)可以看作是给定查询Q后文档D的不确定性度量（负对数概率）。模型的性能可以通过比较查询后文档分布的熵与无查询（均匀分布）时的熵来评估。八、解析思路：阐述如何结合信息熵（通过IDF）改进TF模型，并解释原理。改进方法：在单纯的基于词频（TF）的检索模型中，一个词语在文档中出现的次数越多，其在向量中的权重就越高。但这可能导致一些常见但无区分力的词语（如“的”、“是”、“a”、“the”等）获得过高的权重，而一些罕见但很有区分力的词语权重