2026年数据挖掘大题库及答案

2026年数据挖掘大题库及答案一、选择题（每题2分，共20分）1.以下哪项不属于数据清洗的常见操作？A.处理缺失值B.标准化数据尺度C.计算特征重要性D.纠正异常值答案：C2.决策树算法中，信息增益的计算基于哪种指标？A.基尼系数B.信息熵C.均方误差D.余弦相似度答案：B3.K-means聚类算法的核心优化目标是最小化：A.类间距离B.类内样本与质心的平方误差和C.轮廓系数D.Davies-Bouldin指数答案：B4.Apriori算法中，若支持度阈值设为0.3，某频繁项集{牛奶,面包}的支持度计数为150，则数据集总事务数至少为：A.300B.400C.500D.600答案：C（支持度=支持度计数/总事务数，0.3=150/N→N=500）5.在分类模型评估中，F1-score综合了以下哪两个指标？A.准确率与召回率B.精确率与召回率C.精确率与准确率D.真阳性率与假阳性率答案：B6.以下哪种算法属于无监督学习？A.逻辑回归B.支持向量机C.主成分分析（PCA）D.梯度提升决策树（GBDT）答案：C7.时间序列数据中，“季节性”指的是：A.长期趋势的变化B.固定周期内的重复模式C.随机波动D.结构性突变答案：B8.特征工程中，对类别型特征“省份”（如北京、上海、广东）进行编码时，最合理的方法是：A.标签编码（LabelEncoding）B.独热编码（One-HotEncoding）C.目标编码（TargetEncoding）D.二进制编码（BinaryEncoding）答案：B（避免引入顺序关系）9.关联规则“啤酒→尿布”的置信度是指：A.同时购买啤酒和尿布的事务占总事务的比例B.购买啤酒的事务中同时购买尿布的比例C.购买尿布的事务中同时购买啤酒的比例D.啤酒和尿布的支持度之和答案：B10.在随机森林算法中，以下哪项不是其降低过拟合的主要机制？A.自助采样（Bootstrap）B.特征随机选择C.多棵决策树投票D.剪枝策略答案：D（随机森林主要通过集成和随机化降低过拟合，剪枝是单棵树的策略）二、简答题（每题5分，共50分）1.简述数据预处理中“数据归约”的主要目的及常用方法。数据归约的目的是在保持数据完整性的前提下，降低数据规模，提升挖掘效率。常用方法包括：①维度归约（如PCA、LDA降维）；②数值归约（如直方图、聚类、参数模型拟合）；③数据压缩（如有损/无损压缩技术）。2.对比K-means与DBSCAN聚类算法的适用场景。K-means适用于凸形状、簇大小相近、无噪声的数值型数据，需预先指定簇数；DBSCAN适用于任意形状、含噪声的数据，能自动发现簇数，对密度差异敏感，适合非凸分布场景（如社交网络用户分群）。3.解释“过拟合”现象及其主要解决方法。过拟合指模型在训练集上表现优异，但在新数据上泛化能力差的现象。解决方法包括：①增加数据量；②正则化（L1/L2正则）；③特征选择（减少冗余特征）；④早停法（提前终止训练）；⑤集成学习（如随机森林）。4.随机森林（RandomForest）与梯度提升树（GBDT）的核心区别是什么？随机森林是并行集成方法，每棵树基于自助采样和随机特征子集独立训练，通过投票输出结果；GBDT是串行集成方法，每棵树拟合前序模型的残差，通过累加输出结果，更关注降低偏差。5.主成分分析（PCA）的核心思想是什么？如何确定主成分的数量？PCA通过正交变换将高维数据投影到低维空间，保留最大方差的方向。主成分数量可通过累计方差贡献率（如保留累计方差≥95%的成分）或碎石图（ScreePlot）的拐点确定。6.列举关联规则挖掘中“支持度-置信度框架”的局限性，并说明如何改进。局限性：①可能遗漏低支持度但高价值的规则（如稀有事件）；②置信度未考虑后件的先验概率（可能产生误导性规则）。改进方法：引入提升度（Lift）、全置信度（All-Confidence）等补充指标，或使用基于兴趣度的客观度量。7.简述异常检测中“基于距离”与“基于密度”方法的差异。基于距离的方法（如K近邻）通过计算样本与邻居的距离判断异常，适用于低维数据；基于密度的方法（如LOF）通过比较样本局部密度与邻居密度判断异常，能更好处理高维或密度不均的数据。8.特征选择的常用技术有哪些？举例说明过滤法（Filter）与包装法（Wrapper）的区别。常用技术：过滤法（如卡方检验、信息增益）、包装法（如递归特征消除RFE）、嵌入法（如L1正则）。过滤法基于特征自身统计特性筛选（与模型无关），如用信息增益选择与目标变量相关性高的特征；包装法将特征选择与模型性能绑定（如用SVM的RFE逐步剔除不重要特征），计算成本更高但更贴合模型需求。9.推荐系统中，协同过滤（CollaborativeFiltering）分为哪几类？各自的优缺点是什么？分为用户协同过滤（User-CF）和物品协同过滤（Item-CF）。User-CF基于相似用户的偏好推荐，适用于用户少、物品多的场景（如早期电商），但存在冷启动（新用户）和稀疏性问题；Item-CF基于相似物品的偏好推荐，适用于物品少、用户多的场景（如视频平台），稳定性更高，冷启动集中在新物品。10.时间序列预测中，“平稳性”为何重要？如何检验和处理非平稳时间序列？平稳性指时间序列的统计特性（均值、方差、自协方差）不随时间变化，是许多预测模型（如ARMA）的前提假设。检验方法：ADF单位根检验、观察自相关图。处理方法：差分（一阶/二阶差分）、对数变换（消除异方差）、分解（分离趋势项和季节项）。三、应用题（每题8分，共80分）1.某电商平台需对10万用户进行分群，以制定个性化营销策略。假设已收集到用户的“月均消费金额”“购物频率”“客单价”“复购率”四个数值型特征，要求使用K-means算法完成分群。请描述具体实施步骤及关键注意事项。步骤：①数据预处理：缺失值填充（如均值/中位数）、标准化（Z-score或Min-Max，消除量纲影响）；②确定簇数K：通过肘部法（计算不同K下的SSE，找拐点）或轮廓系数法选择最优K；③初始化质心：采用K-means++（避免随机初始化导致局部最优）；④迭代优化：分配样本到最近质心→重新计算质心→重复直至质心不再变化或达到最大迭代次数；⑤结果分析：统计各簇用户的特征分布（如高消费高复购簇、低消费高频簇），输出分群标签。注意事项：①特征需标准化，避免“月均消费金额”（单位元）对距离计算的影响远大于“复购率”（百分比）；②处理异常值（如极端高消费用户可能干扰簇中心）；③验证稳定性（多次运行取平均结果，避免初始质心敏感）。2.设计一个垃圾邮件分类模型，需完成从数据采集到模型部署的全流程。请说明各阶段的核心任务及关键技术。流程：①数据采集：收集标注邮件数据（主题、正文、发件人、附件信息等），确保正负样本（正常/垃圾邮件）均衡；②特征工程：文本特征（词袋模型、TF-IDF、词嵌入如Word2Vec）、结构特征（超链接数量、大写字母比例）、元数据特征（发件人域名、邮件长度）；③模型选择：传统方法（逻辑回归、SVM）或深度学习（LSTM、Transformer）；④训练与调优：划分训练集/验证集/测试集，使用交叉验证调参（如SVM的C参数、LSTM的隐藏层大小），用精确率/召回率/F1评估（垃圾邮件场景更关注召回率，避免漏判）；⑤部署：将模型封装为API（如Flask/Django），集成到邮件服务器，实时预测并更新模型（定期用新数据微调）。关键技术：处理文本稀疏性（TF-IDF降维）、解决类别不平衡（SMOTE过采样或调整类别权重）、模型轻量化（如BERT蒸馏为小模型）。3.某超市希望挖掘用户购买行为中的关联规则，已知数据集包含5000条购物篮记录（每条记录包含若干商品），要求使用Apriori算法。请详细描述从数据预处理到规则提供的完整流程，并说明如何筛选高价值规则。流程：①数据预处理：清洗数据（去除重复记录、统一商品名称），转换为事务数据库（每条记录为商品集合）；②计算支持度：扫描数据库，统计各单商品支持度，提供频繁1-项集L1（支持度≥阈值，如0.05）；③迭代提供频繁项集：用Lk-1自连接提供候选k-项集Ck，剪枝去除包含非频繁(k-1)-项集的候选项，扫描数据库计算支持度得到Lk，直至无法提供更大频繁项集；④提供关联规则：对每个频繁项集L（|L|≥2），提供所有可能的规则X→Y（X⊂L,Y=L-X），计算置信度（支持度(L)/支持度(X)），保留置信度≥阈值（如0.6）的规则；⑤筛选高价值规则：计算提升度（Lift=置信度(X→Y)/(支持度(Y))），选择Lift>1（正相关）且兴趣度（Interest=支持度(X→Y)-支持度(X)×支持度(Y)）>0的规则（避免偶然关联）。例如，若L={牛奶,面包,鸡蛋}，可能提供规则“牛奶,面包→鸡蛋”，需检查其支持度、置信度、Lift是否满足业务需求（如超市希望促进连带销售，优先选择高Lift的规则）。4.某银行需构建客户违约预测模型，已有历史数据包含客户年龄、收入、职业、信用评分、负债收入比、历史逾期次数等特征。请设计模型评估流程，并说明各评估指标的意义。评估流程：①数据划分：按7:2:1划分训练集、验证集、测试集（或分层交叉验证，保持正负样本比例）；②基线模型（如逻辑回归）训练，记录性能；③复杂模型（如XGBoost、LightGBM）调参（网格搜索/贝叶斯优化），用验证集选择最优超参数；④最终模型在测试集上评估；⑤稳定性检验（如用不同随机种子划分数据，观察性能波动）。评估指标：①准确率（Accuracy）：整体预测正确比例（但在违约样本少的场景易误导）；②精确率（Precision）：预测为违约的样本中实际违约的比例（避免误判正常客户）；③召回率（Recall）：实际违约样本中被正确预测的比例（避免漏判高风险客户）；④F1-score：精确率与召回率的调和平均（综合衡量）；⑤AUC-ROC：反映模型对正例的排序能力（值越高，区分正负样本能力越强）；⑥KS值（Kolmogorov-Smirnov）：衡量正负样本累积分布的最大差异（常用于金融风控，一般>0.3为可接受）。5.社交网络分析中，需发现用户社区（Community）。假设已有用户间的关注关系图（无向图，节点为用户，边权重为互动频率），请说明使用Louvain算法进行社区发现的步骤，并解释其核心优化目标。Louvain算法步骤：①初始化每个节点为一个社区；②局部优化：遍历每个节点，尝试将其加入邻居社区，计算模块度（Modularity）变化ΔQ，选择ΔQ最大的社区（若ΔQ>0则移动）；③重复步骤②直至无法提升模块度；④凝聚社区：将每个社区视为新节点，边权重为原社区间边权重之和，形成新图；⑤在新图上重复步骤②-④，直至模块度不再增加。核心优化目标：最大化模块度Q，Q=Σ[(社区内边权重和/总边权重)-(社区节点总度数/2×总边权重)²]，反映社区内连接紧密、社区间连接稀疏的程度。6.某房产平台需预测二手房价格，已知特征包括房龄、建筑面积、楼层、学区（是否重点小学）、地铁距离、小区绿化率、历史成交价格等。请设计特征工程方案，并说明模型选择的依据。特征工程：①数值特征处理：房龄（可能非线性，构造平方项）、建筑面积（标准化）、地铁距离（取对数，消除长尾分布）；②类别特征处理：学区（二值编码0/1）、楼层（分箱为低/中/高楼层，或目标编码）；③组合特征：“房龄×建筑面积”（反映老旧大户型的贬值效应）、“地铁距离×学区”（近地铁且有学区的溢价）；④时间特征：历史成交价格按时间窗口计算均值/方差（如近3个月同小区均价）；⑤缺失值处理：小区绿化率缺失时用同区域均值填充。模型选择：①线性模型（如岭回归）：可解释性强，适合初步探索特征重要性；②树模型（如XGBoost）：自动处理非线性关系和特征交互，对类别特征（如学区）不敏感；③集成模型（如随机森林）：鲁棒性高，减少过拟合风险；④深度学习（如MLP）：若特征丰富（如加入图像特征），可捕捉复杂模式。最终选择XGBoost（综合性能好，支持自定义损失函数，适合回归任务）。7.医疗数据中需检测异常病例（如罕见病或治疗异常），已知数据包含患者年龄、性别、诊断代码、用药记录、检查指标（如血糖、血压）等多类型特征。请设计异常检测方案，并说明如何验证检测结果的有效性。方案：①数据预处理：诊断代码（ICD-10）和用药记录（ATC编码）转换为嵌入向量（如Word2Vec），数值指标标准化；②特征融合：将结构化（年龄、性别）、半结构化（诊断代码）、数值型（检查指标）特征拼接；③模型选择：混合方法（如孤立森林检测数值异常，One-ClassSVM处理高维稀疏的文本/编码特征）；④规则过滤：结合医学知识（如儿童血糖>20mmol/L直接标记为异常）；⑤结果验证：由医生人工审核前100条检测结果，计算精确率（医生确认的异常数/模型标记数）；通过留一法交叉验证（用正常病例训练，测试集中加入已知异常病例，计算召回率）。8.推荐系统中“冷启动”问题指什么？针对新用户、新物品、新系统三种场景，分别提出解决方案。冷启动问题：系统因缺乏历史交互数据，无法为新用户/物品提供有效推荐。新用户：①利用用户元信息（年龄、性别、注册来源）进行人口统计推荐；②引导用户填写兴趣标签（如选择偏好类别）；③用热门物品作为初始推荐（如近期高点击商品）。新物品：①基于内容推荐（提取物品特征，如商品类别、关键词，推荐给历史偏好相似的用户）；②付费推广至种子用户（通过激励收集早期交互数据）；③与已有物品做相似性匹配（如“与商品A相似的新商品”）。新系统：①与其他平台合作导入用户行为数据（如社交登录同步兴趣）；②采用混合推荐（协同过滤+内容过滤）降低对单一数据的依赖；③小范围灰度测试，逐步积累数据。9.文本情感分析任务中，需对用户评论（如电商商品评论）进行正/负情感分类。请说明特征提取的常用方法及模型选择策略，并对比传统机器学习与深度学习方法的优缺点。特征提取方法：①词袋模型（BOW）：统计词频；②TF-IDF：反映词的重要性；③n-gram：捕捉短语信息（如“不好用”）；④情感词典：计算积极/