第8章 分类：贝叶斯分类器习题参考答案

第8章分类：贝叶斯分类器习题参考答案1.解释贝叶斯定理的基本式P(A|B)=P(B|A)P(A)贝叶斯定理是概率论中用于由果推因的核心公式，能够通过已知的先验概率和似然概率，反向求解事件的后验概率，广泛应用于概率推断与机器学习分类任务。各符号具体含义：-P(A|B)：后验概率，表示在事件B发生的条件下，事件A发生的概率，是公式最终求解的目标；-P(B|A)：似然概率，表示已知事件A发生时，事件B随之发生的概率；-P(A)：先验概率，无任何前置条件下，事件A独立发生的原始概率；-P(B)：证据概率/全概率，事件B整体发生的总概率，为归一化常量，用于保证概率取值在0-1区间。2.朴素贝叶斯分类器如何利用贝叶斯定理进行分类决策？其为什么被称为“朴素”？其在实际应用中的一个基本假设是什么？（1）分类决策原理朴素贝叶斯分类器基于贝叶斯定理完成分类：针对待预测样本，分别计算样本属于每一个类别的后验概率，遵循最大后验概率准则，选择后验概率最大的类别作为样本的最终分类结果。（2）“朴素”的原因该算法引入了一个极强的简化假设，默认所有输入特征之间相互独立、互不关联。该假设在真实场景中几乎无法严格成立，是一种理想化、简单化的处理方式，因此被称作“朴素”贝叶斯。（3）基本假设特征条件独立性假设：在给定样本所属类别的前提下，所有特征的出现和分布相互独立，联合概率可拆解为各特征条件概率的乘积。3.高斯朴素贝叶斯、多项式朴素贝叶斯、伯努利朴素贝叶斯这三种模型的基本工作原理和适用场景分别是怎样的？（1）高斯朴素贝叶斯（GaussianNB）工作原理：假设所有连续型特征服从高斯正态分布，通过训练集计算每类特征的均值和方差，代入正态分布公式求解特征的条件概率。适用场景：专门处理连续数值型特征，如温度、身高、房价、传感器数据、销售额等连续数据的分类任务。（2）多项式朴素贝叶斯（MultinomialNB）工作原理：基于多项式分布建模，统计特征的出现频次、计数，通过特征计数概率计算样本属于各类别的后验概率，配套拉普拉斯平滑解决零概率问题。适用场景：针对离散计数型特征，是文本分类、情感分析的主流模型，适配单词出现频率、关键词统计等场景。（3）伯努利朴素贝叶斯（BernoulliNB）工作原理：基于伯努利二值分布，仅判断特征是否存在（0/1二值状态），不统计特征出现次数，仅依据特征有无计算概率。适用场景：适配二值离散特征，如文本中单词是否出现、特征是否触发、标签有无等二分类特征任务。4.半朴素贝叶斯分类模型与朴素贝叶斯分类模型有什么区别？半朴素贝叶斯是如何放宽朴素贝叶斯中的特征独立性假设的？（1）核心区别朴素贝叶斯严格执行全局特征独立假设，完全忽略特征间的关联关系，模型简单但与真实数据分布偏差较大，分类精度有限；半朴素贝叶斯放弃了全局独立假设，允许部分特征存在依赖关系，兼顾模型简洁性与数据真实性，分类精度更高。（2）放宽独立性假设的方式半朴素贝叶斯通过独依赖估计放宽约束，核心思路为：不要求所有特征相互独立，允许每个特征最多依赖一个其他特征。常见实现方式：一是超父独依赖，所有特征统一依赖同一个核心特征；二是局部独依赖，仅对强关联特征建立依赖关系，其余特征仍保持独立，在复杂度和准确率之间实现平衡。5.解释贝叶斯网的概念以及它如何用于分类任务？与朴素贝叶斯分类器相比，贝叶斯网有什么优势？（1）贝叶斯网概念贝叶斯网又称信念网络，是一种有向无环概率图模型，由节点和有向边组成：节点代表随机变量（特征、类别、状态），有向边代表变量间的因果依赖关系，同时通过条件概率表（CPT）存储变量间的概率关联规则。（2）分类任务应用方式首先根据业务逻辑搭建变量依赖的网络结构，再通过训练数据学习各节点的条件概率表；输入待测样本特征后，通过概率推理算法计算样本属于各类别的后验概率，选取概率最大值对应的类别作为分类结果。（3）相比朴素贝叶斯的优势①无强制独立假设，可精准建模特征之间的关联与因果关系，贴合真实数据分布，复杂场景分类精度更高；②模型结构灵活，可自定义多变量复杂依赖关系，适用场景远广于朴素贝叶斯；③可视化效果好，变量间的影响逻辑清晰，模型可解释性极强；④支持缺失数据下的概率推理，鲁棒性更强。6.假设你要使用朴素贝叶斯分类器来设计一个垃圾邮件分类系统。描述这个系统的设计过程，包括特征选择、模型训练、以及分类决策的步骤。（1）特征选择以邮件文本词汇为核心特征，筛选垃圾邮件高关联关键词，如“免费”“中奖”“返利”“发票”“转账”“秒杀”等；剔除无意义的停用词，以单词出现频次或出现状态作为输入特征。（2）数据预处理对原始邮件文本进行分词、去重、过滤特殊符号和链接；通过词袋模型或TF-IDF将文本转化为结构化数值特征，构建模型可识别的特征矩阵。（3）模型训练①统计先验概率：计算训练集中垃圾邮件、非垃圾邮件的样本占比；②计算条件概率：分别统计各关键词在垃圾邮件、非垃圾邮件中的出现概率；③引入拉普拉斯平滑，避免出现零概率问题，保证模型概率计算有效；④基于特征独立假设，完成朴素贝叶斯模型训练。（4）分类决策输入待测邮件，经预处理提取特征后，分别计算该邮件为垃圾邮件、非垃圾邮件的后验概率，对比两个概率值，选取概率更大的类别作为最终分类结果，实现垃圾邮件过滤。7.假设你有一个邮件系统需要通过朴素贝叶斯分类器过滤垃圾邮件。已知一个邮件中出现“免费”一词的概率在垃圾邮件中为0.8，在非垃圾邮件中为0.1，垃圾邮件和非垃圾邮件的先验概率分别为0.5。请计算出现“免费”一词的邮件是垃圾邮件的概率。已知条件：P(P(计算全概率：P(代入贝叶斯公式计算后验概率：P(结论：出现“免费”一词的邮件是垃圾邮件的概率约为88.9%。8.给定一组文本数据，分为两类：正面情绪和负面情绪。已知在正面情绪的文本中，“好”这个词的出现概率为0.2，“差”这个词的出现概率为0.05；在负面情绪的文本中，“好”和“差”的出现概率分别为0.1和0.15。如果一个未知情绪的文本中同时出现了“好”和“差”，请问这篇文本更可能属于哪一类？已知条件：默认正负情绪先验概率相等，仅需对比联合条件概率P(P(计算联合概率：正面情绪联合概率：0.2×0.05=0.01负面情绪联合概率：0.1×0.15=0.015结论：0.015＞0.01，该文本更可能属于负面情绪。9.你打算为一个文本分类任务选择一个朴素贝叶斯模型。这个任务中，文本的特征是单词的出现频率。你会选择哪一种朴素贝叶斯模型（高斯、多项式、伯努利）？解释你的选择理由。选择模型：多项式朴素贝叶斯（MultinomialNB）选择理由：①单词出现频率属于离散计数型特征，多项式朴素贝叶斯专门适配计数、频次类数据，是文本分类任务的标准模型；②高斯朴素贝叶斯仅适配连续数值特征，无法处理文本频次数据；③伯努利朴素贝叶斯仅识别单词是否出现（二值特征），无法统计频次信息，丢失核心特征数据，不适配本任务。10.考虑一个简单的贝叶斯网，其中包括天气、交通延迟和是否迟到三个变量。描述如何使用这个贝叶斯网来预测一个人是否会因为交通延迟而迟到。（1）构建网络结构搭建有向无环图，因果关系为：天气→交通延迟→是否迟到。天气是父节点，影响交通延迟；交通延迟是中间节点，直接影响是否迟到。（2）模型训练基于历史数据学习两组核心概率：不同天气状态下交通发生延迟的条件概率、交通延迟/正常状态下出行迟到的条件概率，生成完整条件概率表。（3）概率推理预测输入当前观测的天气状态，推理得出交通延迟的发生概率；再将交通延迟概率作为输入，结合条件概率表计算最终迟到概率；根据迟到概率大小，判断用户是否会迟到，完成预测。11.在实际应用中，朴素贝叶斯分类器的特征独立性假设可能带来哪些影响？为什么在许多情况下，尽管这个假设很强，朴素贝叶斯分类器仍然表现出良好的性能？（1）特征独立性假设的负面影响①若特征间存在强关联，概率计算会产生偏差，降低模型分类准确率；②模型无法学习特征之间的交互关系，对复杂关联数据的建模能力不足；③强假设会损失部分数据特征信息，复杂任务适配性较差。（2）模型依旧表现优异的原因①分类任务仅需对比各类别概率的相对大小，即使概率绝对值存在误差，类别排序结果通常不变，不影响最终分类；②模型参数少、结构简单，不易发生过拟合，在小样本、高维稀疏数据（文本）场景稳定性极强；③特征关联带来的误差会相互抵消，整体对分类结果的干扰极小；④训练速度极快，对噪声数据有一定鲁棒性，泛化能力稳定。12.比较朴素贝叶斯分类器和决策树分类器在处理文本数据时的优缺点。（1）朴素贝叶斯分类器优点：训练与预测速度极快，适配文本高维稀疏特征；小样本数据表现稳定，不易过拟合；模型轻量化、泛化能力强，适合大规模文本分类任务。缺点：受特征独立假设限制，无法捕捉单词间的关联语义；复杂语境、歧义文本的分类精度有限。（2）决策树分类器优点：可解释性极强，可输出清晰的分类规则；能学习特征交互关系，无需假设数据分布。缺点：文本高维特征易导致树结构过于复杂，产生严重过拟合；训练耗时久，对噪声、不平衡文本数据敏感，泛化能力弱于朴素贝叶斯。13.使用Python实现一个简单的朴素贝叶斯分类器，并在一个合成数据集上测试其性能。数据集应包含至少两个类别，以及至少两种特征（可以是连续的或离散的）。python

#导入所需库

fromsklearn.naive_bayesimportGaussianNB

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportaccuracy_score

importnumpyasnp

#构建合成数据集：2种连续特征、2个分类（0/1）

X=np.array([

[1.2,2.3],[1.4,2.1],[1.1,2.4],

[3.1,4.2],[3.0,4.1],[3.2,3.9],

[1.3,2.2],[3.3,4.0],[1.0,2.0],

[3.4,4.3]

])

y=np.array([0,0,0,1,1,1,0,1,0,1])

#划分训练集和测试集

X_train,X_test,y_train,y_test=train_test_split(

X,y,test_size=0.3,random_state=42

)

#初始化并训练高斯朴素贝叶斯模型

model=GaussianNB()

model.fit(X_train,y_train)

#模型预测与性能评估

y_pred=model.predict(X_test)

acc=accuracy_score(y_test,y_pred)

#输出结果

print("测试集真实标签：",y_test)

print("测试集预测标签：",y_pred)

print(f"模型分类准确率：{acc:.2f}")代码说明：构建含2维连续特征、2个类别的合成数据集，采用高斯朴素贝叶斯完成训练与测试，代码可直接运行，准确率可直观反映模型性能。14.使用Python中的任一贝叶斯网络库，构建一个简单的贝叶斯网模型来模拟一个现实世界问题（例如，疾病诊断、学生的考试成绩预测等）。描述模型的结构，以及如何用数据来训练这个模型。实验案例：基于贝叶斯网的感冒发烧诊断模型python

#安装依赖：pipinstallpgmpy

frompgmpy.modelsimportBayesianNetwork

frompgmpy.factors.discreteimportTabularCPD

frompgmpy.inferenceimportVariableElimination

#1.构建贝叶斯网络结构：受凉→感冒→发烧

model=BayesianNetwork([("受凉","感冒"),("感冒","发烧")])

#2.定义各节点条件概率表（CPD）

#受凉：0=未受凉，1=受凉

cpd_cold=TabularCPD(variable="受凉",variable_card=2,values=[[0.7],[0.3]])

#感冒：依赖受凉状态

cpd_flu=TabularCPD(

variable="感冒",variable_card=2,

values=[[0.9,0.2],[0.1,0.8]],

evidence=["受凉"],evidence_card=[2]

)

#发烧：依赖感冒状态

cpd_fever=TabularCPD(

variable="发烧",variable_card=2,

values=[[0.8,0.3],[0.2,0.7]],

evidence=["感冒"],evidence_card=[2]

)

#3.将概率表加入网络

model.add_cpds(cpd_cold,cpd_flu,cpd_fever)

#4.概率推理：已知受凉，查询发烧概率

infer=VariableElimination(model)

result=infer.query(variables=["发烧"],evidence={"受凉":1})

print(result)模型结构：包含3个二值节点，根节点为「受凉」，中间节点为「感冒」，叶子节点为「发烧」，形成链式因果依赖结构。模型训练方式：小样本场景可手动定义条件概率表；