2025年数据挖掘探索数据的奥秘(青岛工学院)网课章节测试答案

2025年数据挖掘探索数据的奥秘(青岛工学院)网课章节测试答案1.（选择题）某数据集存在30%的缺失值，变量类型为连续型，且缺失模式为随机缺失（MCAR）。以下哪种处理方法最合理？A.直接删除缺失值所在行B.用变量均值填充C.用最近邻插值法填充D.用回归模型预测填充答案：B解析：当缺失值比例在30%以内且为随机缺失时，直接删除（选项A）会损失过多信息；最近邻插值（选项C）适用于时间序列或空间相关数据；回归预测（选项D）需要其他变量与缺失变量有强相关性，否则易引入偏差。连续型变量随机缺失时，均值填充是最简洁且误差较小的方法，因此选B。2.（判断题）数据标准化（Z-score）与归一化（Min-Max）的本质区别在于，标准化后的变量均值为0、标准差为1，而归一化后的变量取值范围在[0,1]。（）答案：√解析：标准化通过（X-μ）/σ实现，结果服从标准正态分布；归一化通过（X-Xmin）/(Xmax-Xmin)实现，结果压缩到[0,1]区间。二者目的都是消除量纲影响，但标准化保留数据分布特性，归一化更关注相对位置，表述正确。3.（简答题）简述特征选择中“过滤法”与“包装法”的核心差异，并举例说明。答案：过滤法基于数据本身的统计特性（如卡方检验、信息增益、相关系数）选择特征，不依赖具体模型，计算效率高但可能忽略特征与模型的交互；包装法将特征选择视为子集搜索问题，用具体模型（如逻辑回归、决策树）的性能（如准确率）作为评价标准，能更贴合模型需求，但计算成本高。例如，过滤法可用皮尔逊相关系数筛选与目标变量高度相关的特征；包装法可能用遗传算法搜索特征子集，每轮用SVM模型验证分类效果，选择最优子集。4.（应用题）某电商用户行为数据集包含字段：用户ID（字符串）、年龄（整数）、性别（二值）、浏览时长（分钟，连续）、购买金额（元，连续）、是否复购（0/1）。需为“是否复购”建模，列出预处理步骤并说明理由。答案：预处理步骤如下：（1）缺失值处理：检查各字段缺失率。若年龄、浏览时长等连续变量缺失率＜5%，用中位数填充（避免均值受异常值影响）；若性别缺失，可统计众数填充（分类变量）；用户ID无缺失（主键）。（2）异常值检测：对浏览时长、购买金额用IQR法（计算Q1、Q3，超过Q3+1.5IQR或低于Q1-1.5IQR视为异常），标记后或删除（若样本量大）或用上下限替换（保留数据分布）。（3）特征编码：性别为二值变量（0/1），无需额外编码；用户ID为唯一标识，建模时需删除（无预测意义）。（4）数据标准化：浏览时长、购买金额量纲不同，用Z-score标准化（保留分布），避免模型对大数值特征过度敏感。（5）类别平衡：统计“是否复购”的0/1比例，若失衡（如1:5以上），用SMOTE过采样或调整模型类别权重，防止模型偏向多数类。关联规则挖掘章节测试答案1.（选择题）在Apriori算法中，若最小支持度设为0.3，某2-项集的支持度计数为15，数据集总事务数为50，则该2-项集是否为频繁项集？A.是，支持度0.3B.否，支持度0.25C.是，支持度0.35D.否，支持度0.3答案：A解析：支持度=支持度计数/总事务数=15/50=0.3，等于最小支持度，因此是频繁项集，选A。2.（判断题）关联规则的置信度越高，规则的实用性越强。（）答案：×解析：置信度反映规则的条件概率（如X→Y的置信度=P(Y|X)），但高置信度可能由X本身高频导致（如X出现次数多，Y在X中出现次数也多），需结合提升度（Lift=置信度/P(Y)）判断规则是否具有实际价值。若Lift=1，说明X与Y独立，无关联意义，因此仅置信度高不能保证实用性。3.（简答题）简述Apriori算法中“先验性质”（AprioriProperty）的作用，并说明如何利用该性质减少计算量。答案：先验性质指“若一个项集是非频繁的，则其所有超集也一定是非频繁的”。利用该性质，算法可通过逐层搜索（k-项集→k+1-项集）实现剪枝：首先提供所有可能的1-项集，计算支持度得到频繁1-项集；然后用频繁1-项集提供候选2-项集（连接步），再通过扫描数据库计算支持度，剔除包含非频繁1-项集的候选（剪枝步）；重复此过程直到无法提供更大的频繁项集。该性质避免了直接枚举所有可能的项集（组合爆炸问题），显著减少了候选集数量和计算量。4.（应用题）某超市数据集有5条事务：T1：牛奶、面包、鸡蛋T2：牛奶、面包、可乐T3：面包、可乐、薯片T4：牛奶、面包、薯片T5：牛奶、可乐、薯片设最小支持度为0.4（2/5），最小置信度为0.6，计算所有强关联规则，并说明哪条规则提升度最高。答案：步骤1：计算频繁项集1-项集支持度：牛奶（4/5=0.8）、面包（4/5=0.8）、可乐（3/5=0.6）、薯片（3/5=0.6）、鸡蛋（1/5=0.2）→频繁1-项集：{牛奶}、{面包}、{可乐}、{薯片}（鸡蛋支持度0.2＜0.4，剔除）。候选2-项集：{牛奶,面包}、{牛奶,可乐}、{牛奶,薯片}、{面包,可乐}、{面包,薯片}、{可乐,薯片}计算支持度：{牛奶,面包}：T1、T2、T4→3/5=0.6≥0.4{牛奶,可乐}：T2、T5→2/5=0.4≥0.4{牛奶,薯片}：T4、T5→2/5=0.4≥0.4{面包,可乐}：T2、T3→2/5=0.4≥0.4{面包,薯片}：T3、T4→2/5=0.4≥0.4{可乐,薯片}：T3、T5→2/5=0.4≥0.4→所有2-项集均为频繁。候选3-项集：由频繁2-项集连接提供，如{牛奶,面包,可乐}（需包含{牛奶,面包}、{牛奶,可乐}、{面包,可乐}），检查支持度：出现于T2→1/5=0.2＜0.4，剔除；同理{牛奶,面包,薯片}出现于T4→1/5=0.2＜0.4；{牛奶,可乐,薯片}出现于T5→1/5=0.2＜0.4；{面包,可乐,薯片}出现于T3→1/5=0.2＜0.4→无频繁3-项集。步骤2：提供强关联规则（置信度≥0.6）以{牛奶,面包}（支持度0.6）为例，可能的规则：牛奶→面包：置信度=支持度({牛奶,面包})/支持度({牛奶})=0.6/0.8=0.75≥0.6面包→牛奶：置信度=0.6/0.8=0.75≥0.6{牛奶,可乐}（支持度0.4）：牛奶→可乐：置信度=0.4/0.8=0.5＜0.6（剔除）可乐→牛奶：置信度=0.4/0.6≈0.667≥0.6{牛奶,薯片}（支持度0.4）：牛奶→薯片：置信度=0.4/0.8=0.5＜0.6（剔除）薯片→牛奶：置信度=0.4/0.6≈0.667≥0.6{面包,可乐}（支持度0.4）：面包→可乐：置信度=0.4/0.8=0.5＜0.6（剔除）可乐→面包：置信度=0.4/0.6≈0.667≥0.6{面包,薯片}（支持度0.4）：面包→薯片：置信度=0.4/0.8=0.5＜0.6（剔除）薯片→面包：置信度=0.4/0.6≈0.667≥0.6{可乐,薯片}（支持度0.4）：可乐→薯片：置信度=0.4/0.6≈0.667≥0.6薯片→可乐：置信度=0.4/0.6≈0.667≥0.6步骤3：计算提升度（Lift=置信度/P(Y)）以规则“可乐→牛奶”为例：P(牛奶)=0.8，置信度≈0.667，Lift=0.667/0.8≈0.834＜1（无提升）；规则“牛奶→面包”：P(面包)=0.8，置信度=0.75，Lift=0.75/0.8=0.9375＜1；规则“可乐→薯片”：P(薯片)=0.6，置信度≈0.667，Lift=0.667/0.6≈1.112＞1；规则“薯片→可乐”：P(可乐)=0.6，置信度≈0.667，Lift≈1.112＞1；规则“薯片→牛奶”：P(牛奶)=0.8，置信度≈0.667，Lift≈0.834＜1；规则“可乐→面包”：P(面包)=0.8，置信度≈0.667，Lift≈0.834＜1；规则“薯片→面包”：P(面包)=0.8，置信度≈0.667，Lift≈0.834＜1。结论：强关联规则为牛奶→面包、面包→牛奶、可乐→牛奶（置信度0.667）、薯片→牛奶（置信度0.667）、可乐→面包（置信度0.667）、薯片→面包（置信度0.667）、可乐→薯片、薯片→可乐。其中“可乐→薯片”和“薯片→可乐”的提升度最高（≈1.112），说明二者存在正相关。分类与预测章节测试答案1.（选择题）在决策树算法中，若某节点的基尼指数（GiniIndex）为0.5，分裂后左子节点基尼指数0.3（样本占比40%），右子节点基尼指数0.4（样本占比60%），则分裂的信息增益（基于基尼指数）为？A.0.5(0.3×0.4+0.4×0.6)=0.50.36=0.14B.0.5(0.3+0.4)/2=0.50.35=0.15C.0.5max(0.3,0.4)=0.50.4=0.1D.0.5×(10.3×0.40.4×0.6)=0.5×0.64=0.32答案：A解析：基尼指数的信息增益=父节点基尼指数Σ（子节点基尼指数×子节点样本占比），因此正确计算为0.5(0.3×0.4+0.4×0.6)=0.14，选A。2.（判断题）逻辑回归模型的输出是样本属于正类的概率，其损失函数通常采用均方误差（MSE）。（）答案：×解析：逻辑回归通过sigmoid函数将线性组合映射到[0,1]，输出概率。其损失函数应采用交叉熵损失（Cross-EntropyLoss），因为MSE在sigmoid函数下会导致梯度消失问题，而交叉熵能更敏感地反映预测概率与真实标签的差异。3.（简答题）比较KNN（K-近邻）与SVM（支持向量机）在分类任务中的优缺点，各举一个适用场景。答案：KNN优点：无需训练（惰性学习），简单易实现，对非线性边界适应力强；缺点：计算复杂度高（需计算所有样本距离），对高维数据敏感（维度灾难），受噪声和不平衡数据影响大。适用场景：小样本、低维、类别边界不规则的数据集（如手写数字识别小样本测试）。SVM优点：通过核函数处理非线性问题，专注于支持向量（抗噪声），泛化能力强；缺点：对参数（C、核函数参数）敏感，训练时间随样本量增加显著上升，难以解释（黑箱模型）。适用场景：高维小样本（如文本分类、生物信息学）。4.（应用题）某银行信贷数据集包含1000个样本，其中“违约”（正类）100个，“不违约”（负类）900个。用逻辑回归建模，得到混淆矩阵如下：预测违约|预测不违约实际违约|80|20实际不违约|150|750计算准确率、召回率（Recall）、精确率（Precision）、F1分数，并分析模型在违约检测中的表现。答案：准确率=(TP+TN)/(TP+TN+FP+FN)=(80+750)/1000=830/1000=0.83（83%）召回率=TP/(TP+FN)=80/(80+20)=0.8（80%）精确率=TP/(TP+FP)=80/(80+150)=80/230≈0.3478（34.78%）F1=2×(精确率×召回率)/(精确率+召回率)=2×(0.3478×0.8)/(0.3478+0.8)≈0.493（49.3%）分析：模型准确率较高（83%），但因数据严重不平衡（正类仅10%），准确率无法真实反映违约检测能力。召回率80%表示能正确识别80%的违约样本，表现较好；但精确率仅34.78%，说明预测为违约的样本中仅约35%实际违约，存在大量误判（FP=150）。F1分数较低（≈49.3%），综合精确率和召回率后模型表现一般。需调整类别权重（如提高正类误判成本）或采用SMOTE过采样，改善不平衡问题。聚类分析章节测试答案1.（选择题）K-means算法的主要缺点不包括？A.对初始聚类中心敏感B.无法处理非凸形状的簇C.自动确定最优K值D.对噪声和异常值敏感答案：C解析：K-means需要人为指定聚类数K，无法自动确定（需通过轮廓系数、手肘法等辅助），因此“自动确定最优K值”不是缺点，选C。2.（判断题）DBSCAN算法通过“核心点”“边界点”“噪声点”定义簇，能有效发现任意形状的簇，且无需指定簇数。（）答案：√解析：DBSCAN基于密度，通过参数ε（邻域半径）和MinPts（邻域内最小样本数）识别核心点（邻域内≥MinPts样本），核心点密度可达的样本形成簇，无法被任何核心点密度可达的为噪声点。该算法不预设簇数，适用于非凸、不规则形状的簇，表述正确。3.（简答题）简述轮廓系数（SilhouetteCoefficient）的计算逻辑，并说明如何用其确定K-means的最优聚类数。答案：轮廓系数针对每个样本i计算：s(i)=(b(i)-a(i))/max(a(i),b(i))其中，a(i)为样本i到同簇其他样本的平均距离（簇内凝聚度），b(i)为样本i到最近邻簇中样本的平均距离（簇间分离度）。s(i)范围[-1,1]，越接近1表示样本与所在簇匹配良好，越接近-1表示样本可能被错误聚类。确定最优K值时，计算不同K（如2到10）对应的平均轮廓系数，选择平均轮廓系数最大的K值，此时簇内凝聚度高且簇间分离度大，聚类效果最佳。4.（应用题）某电商用户购买行为数据集经标准化后，用K-means聚类（K=3）得到3个簇，簇中心如下：簇1：购买频次（2.1）、客单价（1.8）、复购率（0.9）簇2：购买频次（0.5）、客单价（0.3）、复购率（0.2）簇3：购买频次（1.2）、客单价（3.5）、复购率（0.7）结合业务场景，为每个簇命名并提出运营策略。答案：簇1（高频次、中客单价、高复购）：命名“忠诚活跃客户”。策略：维护现有关系，提供会员专属权益（如积分加速、优先发货），推送个性化推荐（基于历史购买偏好），提升品牌粘性。簇2（低频次、低客单价、低复购）：命名“潜在沉睡客户”。策略：通过优惠券激励（如满减券、首单折扣）唤醒消费，发送趣味化营销内容（如产品使用场景短视频），降低决策门槛。簇3（中频次、高客单价、中复购）：命名“高价值潜力客户”。策略：提供高端服务（如专属客服、定制化产品），推送高单价商品组合优惠（如套装折扣），提升客单价的同时培养复购习惯（如消费满额赠礼）。数据可视化与探索性分析章节测试答案1.（选择题）以下哪种图表最适合展示不同地区销售额的分布情况，并比较各地区的中位数、四分位数及异常值？A.折线图B.箱线图C.散点图D.热力图答案：B解析：箱线图通过中位数、Q1、Q3、whiskers（上下限）和异常值点，能直观展示数据分布的集中趋势、离散程度及异常值，适合多组数据（不同地区）的对比，选B。2.（判断题）相关系数热力图中，颜色越深（或越暖）表示变量间的相关性越强，因此可以直接根据颜色深浅判断因果关系。（）答案：×解析：相关系数反映变量间的线性关联程度，颜色深浅表示相关系数绝对值大小，但相关性≠因果性（可能存在第三变量干扰）。例如，冰淇淋销量与游泳溺亡人数正相关，但因果关系是气温升高同时影响二者，因此不能直接推断因果。3.（简答题）简述探索性数据分析（EDA）的主要步骤，并说明各步骤的核心目标。答案：EDA主要步骤及目标：（1）数据概览：查看样本量、字段数、数据类型（连续/分类）、缺失值分布，目标是快速熟悉数据集结构，识别数据质量问题（如大量缺失、错误类型）。（2）单变量分析：对连续变量计算均值、方差、分位数，绘制直方图/箱线图；对分类变量统计频次，绘制柱状图/饼图。目标是了解各变量的分布特征（如正态性、偏态）、异常值情况。（3）多变量分析：计算变量间相关系数（连续变量）或卡方检验（分类变量），绘制散点图矩阵、热力图、分组箱线图。目标是发现变量间的关联模式（如正相关、非线性关系），为特征工程（如特征选择、交互项构造）提供依据。（4）目标变量关联分析：若为监督学习，分析特征与目标变量的关系（如分类任务中各特征在不同类别下的分布差异）。目标是识别对目标变量有预测能力的关键特征。4.（应用题）某教育平台收集了1000名学生的“每日学习时长（小时）”“周测试成绩（0-100）”数据，绘制散点图后发现二者呈明显正相关（r=0.72），但存在20个异常点（学习时长＞8小时，成绩＜40分）。请分析可能原因并提出验证方法。答案：可能原因：（1）数据记录错误：学习时长或成绩字段存在录入错误（如将“0.8小时”误录为“8小时”，或成绩漏填后默认0分）。（2）学习效率低下：部分学生虽花费长时间学习，但方法不当（如机械重复、缺乏总结），导致成绩未提升。（3）外部干扰：如学习时分心（边学边刷手机）、身体不适（疲劳影响吸收），实际有效学习时间远低于记录时长。验证方法：（1）数据核查：联系数据录入人员，核对异常点的原始记录（如后台日志、纸质登记表），确认是否为录入错误。（2）问卷调查：对异常学生发放问卷，询问学习方式（如是否专注、是否有总结习惯）、学习环境（如是否安静），分析效率低下的具体原因。（3）跟踪观察：抽取部分异常学生，通过屏幕使用时间统计工具（如手机/电脑的专注模式记录），验证“每日学习时长”的真实性，排除分心导致的虚高记录。异常检测章节测试答案1.（选择题）以下哪种异常检测方法适用于高维、非高斯分布的数据？A.Z-scoreB.孤立森林（IsolationForest）C.基于距离的KNND.椭圆拟合（假设数据服从多元正态分布）答案：B解析：Z-score和椭圆拟合依赖数据的正态分布假设；KNN在高维下因“维度灾难”导致距离度量失效；孤立森林通过随机分割特征空间构造树，对高维、非高斯数据的异常检测效果更优，选B。2.（判断题）在监督式异常检测中，模型需要同时学习正常样本和异常样本的特征，因此适用于异常样本数量较多且标签可靠的场景。（）答案：√解析：监督式异常检测将问题视为分类任务（正常/异常），需要足够的异常样本训练模型。若异常样本极少（如欺诈检测中异常占比＜1%），模型易过拟合；若标签可靠且异常样本足够（如工业缺陷检测中可人工标注大量缺陷样本），监督式方法效果更好，表述正确。3.（简答题）比较基于统计的异常检测与基于机器学习的异常检测的核心差异，各举一例。答案：基于统计的方法依赖数据的先验分布假设（如正态分布、泊松分布），通过计算统计量（如均值、方差、分位数）识别偏离分布的样本，适用于低维、分布已知的数据。例如，用3σ原则检测身高数据中的异常值（假设身高服从正态分布）。基于机器学习的方法无需明确分布假设，通过学习正常样本的特征（无监督）或正常/异常的区分模式（监督）检测异常，适用于高维、复杂分布的数据。例如，用孤立森林检测网络流量中的异常访问（高维、非高斯）。4.（应用题）某服务器日志数据集包含“请求次数/分钟”“响应时间（ms）”“错误码数量”3个特征，需检测异常请求。假设数据无标签，选择两种方法并说明实施步骤。答案：方法一：孤立森林（无监督）步骤：（1）对3个特征标准化；（2）构建孤立森林模型，设置子样本大小（如256）和树数量（如100）；（3）计算每个样本的异常分数（越接近1越可能是异常）；（4）设定阈值（如前5%高分数样本）标记为异常。方法二：DBSCAN（基于密度）步骤：（1）标准化特征；（2）通过网格搜索确定参数ε和MinPts（如用k-距离图找ε拐点，MinPts=2×特征数=6）；（3）运行DBSCAN，将噪声点（未被任何簇包含的样本）标记为异常；（4）验证异常样本的业务合理性（如请求次数剧增且响应时间超长、错误码多）。文本挖掘章节测试答案1.（选择题）在TF-IDF计算中，若某词在所有文档中均出现，则其IDF值为？A.0B.1C.log(N/0)（无穷大）D.log(N/N)=0答案：D解析：IDF=log(N/df)，其中N为总文档数，df为包含该词的文档数。若某词在所有文档中出现（df=N），则IDF=log(N/N)=log(1)=0，选D。2.（判断题）词嵌入（WordEmbedding）的核心思想是将单词映射到低维连续向量空间，使得语义相似的单词在向量空间中位置相近。（）答案：√解析：词嵌入（如Word2Vec、GloVe）通过上下文信息学习单词的分布式表示，捕捉语义和语法关系，语义相似的词（如“猫”和“狗”）在向量空间中的余弦相似度较高，表述正确。3.（简答题）简述文本分类中“词袋模型（Bag-of-Words）”的局限性，并说明如何通过“n-gram”改进。答案：词袋模型忽略词序和上下文（如“我不喜欢”与“我喜欢”被视为相同词集合），且无法捕捉短语级别的语义（如“纽约”作为一个整体）。n-gram通过考虑连续n个词的组合（如2-gram包含“我不”“不喜欢”），保留部分词序信息，能更好表示短语和局部上下文，提升模型对语义的捕捉能力。例如，“非常好”作为2-gram比单独“非常”“好”更能准确表达情感倾向。4.（应用题）某社交媒体评论数据集需分类为“正面”“负面”“中性”，文本预处理步骤包括哪些？并设计一个基于BERT的分类模型流程。答案：预处理步骤：（1）清洗：去除HTML标签、特殊符号（如@、）、重复字符（如“好好好好”→“好”）；（2）分词：用中文分词工具（如jieba）将文本拆分为词语（如“这个手机很好用”→“这个/手机/很/好用”）；（3）去停用词：删除无意义词汇（如“的”“是”），保留核心词；（4）标准化：统一大小写（英文）、简体繁体转换（中文）；（5）文本向量化：若用传统模型（如SVM），用TF-IDF或n-gram；若用深度学习，直接输入BERT的tokenizer提供词元（token）、注意力掩码（attentionmask）。基于BERT的分类流程：（1）加载预训练BERT模型（如中文BERT-base）；（2）添加分类头（全连接层），输出维度为3（正面/负面/中性）；（3）划分训练集、验证集（如8:2），用tokenizer将文本转换为输入ID、token类型ID、注意力掩码；（4）训练模型：设置学习率（如2e-5）、批次大小（如16），用交叉熵损失函数优化；（5）验证：在验证集上计算准确率、F1分数，调整超参数（如训练轮次）；（6）测试：用测试集评估模型泛化能力，输出分类报告。大数据环境下的数据挖掘章节测试答案1.（选择题）以下哪个框架适合处理实时流数据挖掘任务？A.HadoopMapReduceB.SparkRDDC.FlinkD.Hive答案：C解析：HadoopMapReduce和SparkRDD主要处理批量数据；Hive是数据仓库工具；Flink基于流处理架构，支持低延迟、高吞吐量的实时数据处理，适合实时流