数据挖掘岗面试题及答案

数据挖掘岗面试题及答案单选题（每题2分，共20分）1.在决策树算法中，C4.5使用哪种指标进行特征划分？A.信息增益 B.增益率 C.基尼指数 D.卡方检验答案：B2.下列关于Apriori算法的描述，正确的是：A.支持度是项集在事务中出现的频率 B.置信度衡量规则前件与后件的互信息 C.剪枝策略基于提升度 D.算法时间复杂度与项集维度无关答案：A3.使用Kmeans聚类时，若初始中心点选择不当，最可能导致的后果是：A.收敛速度加快 B.聚类轮廓系数降低 C.簇内平方和增大 D.算法无法终止答案：B4.在梯度提升树（GBDT）中，每一棵新树拟合的是：A.原始标签 B.残差 C.特征重要性 D.学习率答案：B5.下列哪种方法最适合处理高维稀疏文本特征的分类问题？A.核SVM B.随机森林 C.多项式朴素贝叶斯 D.DBSCAN答案：C6.若某电商用户行为数据存在“购买”与“未购买”极端不平衡（1:999），采用哪种评估指标最合理？A.准确率 B.宏平均F1 C.AUCROC D.均方误差答案：C7.在SparkMLlib中，下列对象负责分布式训练逻辑回归的是：A.LogisticRegressionModel B.LogisticRegression C.Pipeline D.ParamGridBuilder答案：B8.对连续特征做分箱（binning）后，模型可能产生的变化是：A.方差增大 B.偏差减小 C.解释性增强 D.过拟合必然消除答案：C9.Word2Vec中Skipgram模型的训练目标是：A.最大化语料似然 B.最小化中心词与上下文词的余弦距离 C.给定中心词预测上下文词 D.给定上下文词预测中心词答案：C10.在关联规则{牛奶}→{面包}中，已知支持度2%，置信度60%，则同时购买牛奶和面包的事务占比是：A.0.02 B.0.6 C.0.012 D.无法确定答案：A多选题（每题3分，共15分，多选少选均不得分）11.下列属于集成学习降低方差策略的有：A.Bagging B.随机子空间 C.AdaBoost D.梯度提升 E.投票法答案：A、B、E12.关于L1正则化的性质，正确的有：A.产生稀疏解 B.等价于拉普拉斯先验 C.对异常值比L2更敏感 D.可解释特征选择 E.保证凸目标函数答案：A、B、D、E13.在Hadoop生态中，适用于迭代式机器学习的有：A.MapReduce B.Spark C.Tez D.HDFS E.Flink答案：B、C、E14.下列操作能够缓解GBDT过拟合的有：A.减小学习率 B.增加树深度 C.增加子采样比例 D.增加树数量 E.增加正则化参数λ答案：A、E15.对时间序列做特征工程时，可提取的统计特征包括：A.滑动平均 B.自相关系数 C.峰度 D.小波系数 E.互信息答案：A、B、C、D填空题（每空2分，共20分）16.若某数据集有d维特征，PCA保留95%方差后降至k维，则k的选取依据是前k个________之和大于等于总方差的95%。答案：特征值17.在深度学习里，BatchNormalization层位于________与________之间，用以缓解内部协变量偏移。答案：线性变换；激活函数18.使用TFIDF加权时，若词t在文档d中出现频率为5，文档集共1000篇，出现t的文档有10篇，则TFIDF=5×log10(________)。答案：1000/10=10019.在推荐系统冷启动问题中，利用用户注册时填写的年龄、性别做推荐，属于________冷启动。答案：用户20.若某模型在训练集上AUC=0.98，验证集AUC=0.72，该现象称为________。答案：过拟合21.在SQL中，计算用户近30天消费金额的窗口函数写法为SUM(amount)OVER(PARTITIONBYuser_idORDERBYdtROWSBETWEEN29________ANDCURRENTROW)。答案：PRECEDING22.使用Pythonsklearn训练随机森林时，控制基学习器数量的参数名为________。答案：n_estimators23.在A/B测试里，若显著性水平α=0.05，检验功效1−β=0.8，则第二类错误概率β=________。答案：0.224.若某特征服从标准正态分布，使用3σ原则剔除异常值，则上下界分别为________与________。答案：−3；+3简答题（封闭型，每题8分，共24分）25.写出ID3算法构造决策树时信息增益的数学表达式，并说明各符号含义。答案：Gain(D,a)=Ent(D)−∑v=1V|Dv|/|D|·Ent(Dv)其中D为样本集，a为离散特征，V为a的取值个数，Dv为a取第v值的子集，Ent(D)=−∑k=1Kpklog2pk，pk为第k类样本占比。26.列举并解释使用Kfold交叉验证的两种常见偏差，并给出改进方案。答案：(1)估计偏差：因训练集减小至(k−1)/k，导致性能低估；改进采用重复Kfold多次取平均。(2)数据分布偏差：类别不平衡时折间分布差异大；改进采用分层Kfold，保持每折类别比例与全集一致。27.简述Flink在流式机器学习中的exactlyonce语义实现机制。答案：通过Checkpoint屏障对齐与状态快照：Source收到屏障后触发快照，下游算子收到所有输入屏障时持久化状态至分布式存储，失败时从最新快照恢复，结合幂等sink或两阶段提交确保端到端exactlyonce。简答题（开放型，每题10分，共20分）28.某短视频平台每日新增千万级视频，需实时检测涉暴内容。请设计一套端到端方案，涵盖数据流、特征、模型、评估、冷启动与线上监控，需说明技术选型理由与潜在风险。答案要点：数据流：Kafka收集视频流→Flink做帧抽取→Redis缓存热点→HDFS归档；特征：帧级CNNembedding+音频MFCC+文本OCR+用户举报信号；模型：Twostage，FlinkCEP快速规则过滤+ResNet3D微调模型二次校验，蒸馏压缩至TensorRT；评估：采用PR曲线、人工抽检、假阳性成本矩阵，A/B测试对比下架率；冷启动：利用预训练开放数据集+主动学习+增量学习，每日微调；监控：线上特征漂移KS统计、模型延迟P99、GPU利用率、内容审核员反馈闭环；风险：对抗样本绕过、概念漂移、标注者偏差、法律合规、用户隐私泄露；缓解方案包括对抗训练、联邦学习、差分隐私、可解释性报告。29.某电商大促期间，GMV预测值连续三日低于真实值10%以上。请从数据、特征、算法、业务四个维度系统排查原因，并给出可落地的诊断检查清单与修复策略。答案要点：数据：日志延迟、订单回流、库存锁单、优惠券补发、支付通道异常→建立数据质量看板，对账延迟监控；特征：价格敏感特征未更新、促销标签缺失、外部流量数据断供→特征新鲜度SLA、自动回退上一版本；算法：历史同期样本权重下降、时序模型未考虑直播带货突变→引入事件向量、Prophet+GBDT融合、在线学习；业务：竞品突袭、平台补贴策略突变、物流停摆→联动运营获取策略排期表，模型输入策略ID嵌入；检查清单：数据对账差异>1%触发告警、特征PSI>0.2自动回滚、模型预测区间覆盖率<85%启动人工复核、业务策略变更提前三日通知模型团队；修复策略：快速热补丁校正因子、分渠道重训、灰度切换、留一法敏感性分析、事后复盘报告。应用题（计算类，15分）30.给定如下交易事务集：T1:{A,B,C}T2:{A,C}T3:{A,D}T4:{B,E}T5:{B,C,E}最小支持度阈值=0.4（即至少出现2次）。(1)采用Apriori算法，写出所有频繁1项集、2项集、3项集；(2)对频繁2项集{B,C}，计算其所有非空真子集生成的关联规则，并给出置信度；(3)若最小置信度=0.7，保留哪些规则？答案：(1)频繁1项集：{A}:3,{B}:3,{C}:3,{E}:2频繁2项集：{A,C}:2,{B,C}:2,{B,E}:2频繁3项集：无（{B,C,E}仅1次）(2)规则1：B→C，置信度=支持度{B,C}/支持度{B}=2/3≈0.667规则2：C→B，置信度=2/3≈0.667(3)两规则置信度均<0.7，故无规则保留。应用题（分析类，16分）31.某金融风控团队训练XGBoost模型预测用户违约，输出概率为p。现需将概率转化为策略分数score∈[300,850]，要求：a.分数越高风险越低；b.分数每增加20分，违约odds翻倍；c.基准点：score=650时odds=1:10。(1)写出score与log(odds)的线性关系；(2)推导score与概率p的换算公式；(3)若某用户p=0.05，求其score；(4)说明该分数映射在策略调优中的作用。答案：(1)令ln(odds)=a·score+b，由条件b得：ln(2·odds)=a·(score+20)+b⇒ln2=20a⇒a=ln2/20≈0.03466由条件c：ln(1/10)=a·650+b⇒b=−ln10−650a≈−2.3026−22.527=−24.8296故ln(odds)=0.03466·score−24.8296(2)score=(ln(odds)+24.8296)/0.03466又odds=(1−p)/p，代入得：score=(ln((1−p)/p)+24.8296)/0.03466(3)p=0.05，odds=0.95/0.05=19，ln(odds)=ln19≈2.944score=(2.944+24.8296)/0.03466≈800.2，取整800分。(4)该映射将模型概率转化为业务可解释的分数，便于设置阈值、分段定价、监管报告；通过调整基准odds或倍数可快速响应市场资金成本变化，实现策略热更新。应用题（综合类，20分）32.某共享出行平台需预测未来30分钟各区域供需差，进而触发司机调度。数据包括：订单表order(订单ID,起点栅格ID,终点栅格ID,下单时间,应答时间,完成时间,取消标志)司机表driver(司机ID,栅格ID,时间戳,在线状态)天气表weather(时间,区域,温度,降水,风速)事件表event(时间,区域,事件类型,强度)任务：(1)构建训练样本的时空粒度与标签定义；(2)给出三类特征工程方案（时序、空间、外部），每类至少两项具体特征；(3)选择两种以上模型并说明各自优势，给出融合策略；(4)设计线上预测pipeline，要求延迟<1分钟，说明技术栈与计算资源估算；(5)提出评估指标与实验方案，解释如何排除“调度干预”带来的反馈偏差。答案：(1)样本粒度：5分钟×500m×500m栅格；标签=未来30分钟该区域“订单量−应答司机量”，连续值，负值表示供不应求。(2)时序：过去12个粒度滑动平均、差分、节假日指示器、同期上周同比；空间：邻接栅格需求溢出加权平均、POI密度（商场、地铁）、路网拥堵指数；外部：降水强度分档、温度分段、演唱会散场强度、空气质量指数。(3)模型A：Seq2Seq+Attention，捕获长时序依赖；模型B：GNN（GraphSAGE）把栅格当节点，路网当边，学习空间传递；模型C：LightGBM快速处理海量非时序特征；融合：Stacking，第一层GNN与Seq2Seq输出特征+原始特征输入LightGBM，权重按验证集误差倒数分配。(4)Pipeline：Kafka→FlinkCEP清洗→Redis存最近2小时特征→Flink调用ONNX模型→结果写Kafka→调度系统；资源：Kafka3节点、