2025年大数据分析考试题及答案

2025年大数据分析考试题及答案一、单项选择题（每题2分，共20分）1.某电商平台用户行为数据中，“支付时间”字段存在大量“1970-01-0100:00:00”的异常值，最可能的原因是（）。A.数据采集时时间戳未正确转换B.用户故意填写错误时间C.数据库字段类型设置为字符串D.数据传输过程中发生加密错误答案：A2.以下特征工程操作中，属于“特征构造”而非“特征选择”的是（）。A.使用卡方检验筛选与目标变量相关的特征B.将用户“访问频率”与“平均停留时长”相乘提供“活跃指数”C.通过随机森林的特征重要性排序剔除低贡献特征D.对类别型特征“商品类目”进行独热编码答案：B3.某分布式计算任务中，Spark的shuffle操作耗时占比达70%，优化该任务的关键是（）。A.增加Executor的CPU核心数B.调整shuffle分区数，减少数据传输量C.提升Driver节点的内存配置D.改用HadoopMapReduce重新实现答案：B4.对于时序预测问题，若数据存在明显的周周期性（7天）和年周期性（365天），最优的特征构造方法是（）。A.提取时间戳的“小时”“星期几”“月份”作为特征B.计算当前值与前7天、前365天的差值作为滞后特征C.使用傅里叶变换分解周期性成分D.对时间戳进行多项式扩展（如t²、t³）答案：C5.以下关于数据倾斜的描述，错误的是（）。A.数据倾斜可能导致部分任务节点内存溢出B.对倾斜键添加随机前缀可缓解HadoopMapReduce的倾斜问题C.Spark中可通过调整spark.sql.shuffle.partitions参数均衡数据分布D.数据倾斜仅发生在聚合操作（如groupby）中答案：D6.训练一个预测用户购买意愿的分类模型，样本中“购买”标签占比仅2%，以下处理方式最不合理的是（）。A.使用SMOTE算法提供合成正样本B.调整模型损失函数的类别权重（正样本权重设为50）C.采用分层抽样保持测试集的类别分布D.直接删除负样本使正负样本比例1:1答案：D7.某企业需构建实时风控系统，要求延迟低于100ms，应优先选择的技术栈是（）。A.Kafka（消息队列）+SparkStreaming（微批处理）B.Flink（流处理）+Redis（实时存储）C.HBase（列式存储）+MapReduce（批量计算）D.Elasticsearch（搜索引擎）+Airflow（任务调度）答案：B8.评估一个回归模型的预测效果时，若MAE（平均绝对误差）远小于RMSE（均方根误差），说明（）。A.模型存在多个较大的预测误差B.模型预测误差的分布较为集中C.模型在多数样本上预测准确，少数样本误差极大D.模型整体偏差较小答案：C9.以下关于联邦学习的描述，正确的是（）。A.联邦学习要求所有参与方将原始数据上传至中心服务器B.横向联邦学习适用于用户重叠多、特征重叠少的场景C.联邦学习的核心是在数据不出域的前提下联合训练模型D.联邦学习无需考虑通信成本和模型收敛速度答案：C10.对某社交平台用户评论进行情感分析（积极/消极），文本中存在大量网络用语（如“绝绝子”“栓Q”），最有效的处理方法是（）。A.直接删除所有网络用语B.使用预训练语言模型（如BERT）结合领域数据微调C.人工标注网络用语的情感倾向并构建词典D.对文本进行词干提取（Stemming）答案：B二、填空题（每题2分，共20分）1.数据清洗中，处理缺失值的常用方法包括删除记录、______和______（任填两种）。答案：均值/中位数填充；模型预测填充2.特征缩放的两种主要方法是______和______。答案：归一化（Min-MaxScaling）；标准化（Z-ScoreScaling）3.SparkRDD的两个核心特性是______和______。答案：不可变性；弹性分布式4.随机森林中，“随机”体现在______和______两个方面。答案：随机选择样本（自助采样）；随机选择特征子集5.时间序列的四大组成部分是______、______、周期性和随机波动。答案：趋势性；季节性6.Kafka中，消费者组（ConsumerGroup）的作用是______。答案：实现消息的负载均衡消费（不同消费者实例消费不同分区）7.XGBoost相比传统GBDT的改进包括______（任填一点）。答案：加入正则化项防止过拟合；使用二阶泰勒展开；支持并行计算8.评估分类模型时，F1分数是______和______的调和平均数。答案：精确率（Precision）；召回率（Recall）9.分布式文件系统HDFS的默认副本数是______。答案：310.实时数据流处理中，“事件时间”（EventTime）指______。答案：数据实际发生的时间（区别于系统接收数据的处理时间）三、简答题（每题6分，共30分）1.简述数据清洗中“异常值检测”的常用方法及适用场景。答案：（1）统计方法：如Z-score（适用于正态分布数据，通过均值±3σ识别异常）、IQR（四分位距，适用于非正态分布，通过Q1-1.5IQR和Q3+1.5IQR划分边界）；（2）基于距离的方法：如K近邻（KNN），适用于高维小样本数据，计算样本与邻居的距离识别离群点；（3）基于密度的方法：如DBSCAN，适用于聚类场景，识别密度远低于邻域的点；（4）基于模型的方法：如孤立森林（IsolationForest），适用于高维大数据，通过随机划分快速隔离异常值。2.对比随机森林（RandomForest）与梯度提升树（GradientBoostingTree，GBM）的核心差异。答案：（1）集成方式：随机森林是并行集成（树之间独立），GBM是串行集成（每棵树纠正前序树的误差）；（2）误差处理：随机森林通过样本和特征的随机性降低方差，GBM通过梯度下降最小化损失函数降低偏差；（3）过拟合风险：随机森林对过拟合不敏感（多棵树投票），GBM易过拟合（依赖前序模型的残差）；（4）训练速度：随机森林可并行训练，速度快；GBM需串行训练，速度较慢（XGBoost/LightGBM通过优化加速）。3.设计一个电商用户复购预测模型的特征工程流程（至少包含5类特征）。答案：（1）用户基本属性：年龄、性别、注册时长、历史购买等级；（2）行为统计特征：近30天访问次数、加购次数、收藏次数、平均客单价、最大/最小购买金额；（3）时间相关特征：最近一次购买时间（R值）、购买间隔的标准差（消费稳定性）、周内购买高峰时段；（4）商品偏好特征：常购品类、偏好品牌、平均商品评分、退单率；（5）社交特征（若有）：好友推荐次数、评论互动频率；（6）环境特征：常用设备（手机/PC）、网络类型（Wi-Fi/移动数据）、地理位置（城市等级）。4.说明Flink流处理中“水印（Watermark）”的作用及提供策略。答案：作用：水印用于处理乱序事件时间数据，标记当前数据流的时间进度，触发窗口计算（当水印超过窗口结束时间时，认为该窗口数据已到齐，可计算结果）。提供策略：（1）周期性水印：按固定时间间隔（如每100ms）提供，根据当前最大事件时间减去延迟时间（允许数据迟到的最大时长）；（2）标点水印：在数据流中插入特定标记（如业务事件触发），仅当收到标记时提供水印；（3）基于事件时间戳的水印：直接使用数据中的时间戳，适用于严格有序的数据（无乱序）。5.简述大数据分析中“数据伦理”需关注的核心问题（至少4点）。答案：（1）隐私保护：用户个人信息（如手机号、位置）的收集需获得明确授权，避免过度采集；（2）算法公平性：模型训练数据若存在偏见（如性别、种族歧视），可能导致预测结果不公平（如贷款审批歧视）；（3）数据可解释性：关键决策（如信用评分）需向用户说明依据，避免“黑箱”算法；（4）数据所有权：企业需明确用户数据的归属（用户是否拥有数据的删除、导出权）；（5）数据安全：防止数据泄露（如加密存储）、恶意篡改（如区块链存证）；（6）算法透明度：模型训练过程、关键参数（如特征权重）需可审计。四、应用题（每题10分，共20分）1.某物流企业需分析“配送延迟”的影响因素，现有数据包括：订单时间、配送员ID、起始地/目的地坐标、商品重量、天气（晴/雨/雪）、交通拥堵指数（0-100）、实际配送时长、是否延迟（目标变量）。请设计分析流程，并说明每一步的关键操作。答案：分析流程及关键操作：（1）数据清洗：-检查缺失值：若“天气”字段缺失，用该区域同时段的历史天气填充；若“交通拥堵指数”缺失，删除对应记录（因该特征对延迟影响大）；-处理异常值：“商品重量”若出现负数或极大值（如1000kg），核实后修正或删除；“实际配送时长”若远超过合理范围（如100小时），标记为异常订单并剔除。（2）特征工程：-时间特征：从“订单时间”提取小时（区分早晚高峰）、星期几（周末配送压力大）、是否节假日；-空间特征：计算起始地到目的地的直线距离（GPS坐标用Haversine公式），结合交通拥堵指数提供“预计行驶时间”（距离/平均车速×(1+拥堵指数/100)）；-交叉特征：配送员历史延迟率（该配送员过去30天延迟订单占比）、天气与拥堵指数的交互（雨天+高拥堵可能加剧延迟）；-类别特征编码：“天气”用标签编码（晴=0，雨=1，雪=2），或根据延迟率赋予权重（如雪天延迟率高则编码值更大）。（3）模型选择与训练：-选择XGBoost或LightGBM（处理混合类型数据、自动处理特征重要性）；-划分训练集/测试集（按时间划分，避免未来数据泄露）；-调整超参数（如学习率、树深度），使用5折交叉验证优化；-评估指标：F1分数（平衡精确率和召回率，因延迟样本可能少）、AUC-ROC（整体分类能力）。（4）结果分析：-输出特征重要性（如“交通拥堵指数”“配送员历史延迟率”可能是前两大因素）；-可视化分析：绘制不同天气下的延迟率柱状图，观察雨雪天气对延迟的影响；-业务建议：高峰时段增加配送员调度、雨雪天气提前规划备用路线、对高延迟率配送员进行培训。2.某视频平台需构建“用户次日留存”预测模型（留存定义为：用户今日活跃，次日再次活跃），已有数据包括用户基本信息（年龄、性别）、行为数据（今日观看时长、观看视频数、互动次数）、设备信息（手机品牌、系统版本）。请设计模型构建全流程，并说明每一步的技术细节。答案：模型构建全流程及技术细节：（1）数据准备：-定义目标变量：用户i在t日活跃，则t+1日是否活跃（活跃=1，不活跃=0）；-特征时间窗口：所有特征基于t日数据（避免使用t+1日数据导致泄露）；-数据抽样：若留存样本占比低（如留存率30%），保持原始分布（无需过采样，避免引入偏差）。（2）特征工程：-基础特征：年龄分箱（如18-25,26-35等）、性别（独热编码）；-行为特征：观看时长分位数（如是否＞30分钟）、观看视频数的对数变换（消除长尾分布）、互动率（互动次数/观看视频数）；-设备特征：手机品牌按市场份额分组（头部品牌如华为/苹果为一组，其他为“其他”）、系统版本是否为最新（是=1，否=0）；-衍生特征：观看时长与互动次数的相关性（高互动+长观看可能留存率高）、今日首次活跃时间（早8点前活跃可能更忠诚）；-缺失值处理：若“观看时长”缺失（用户活跃但未记录），用该用户近7日平均时长填充（用户级填充比全局更准确）。（3）模型训练：-算法选择：逻辑回归（可解释性强）+随机森林（捕捉非线性关系）+深度学习（如FFN，处理高维特征）；-特征筛选：用L1正则化逻辑回归剔除低重要性特征（如某些手机品牌分组后p值＞0.05）；-超参数调优：使用GridSearchCV或Optuna搜索（如随机森林的n_estimators=100-300，max_depth=5-10）；-防止过拟合：加入正则化（如XGBoost的lambda参数）、早停法（验证集损失不再下降时停止训练）。（4）模型评估：-离线评估：测试集的准确率、召回率、AUC（如AUC＞0.85为有效模型）；-在线A/B测试：将模型预测结果分为两组（模型组/对照组），观察次日留存率是否有显著提升（如模型组留存率+2%）；-稳定性监控：计算PSI（PopulationStabilityIndex），若特征分布月环比PSI＞0.25，需重新训练模型。（5）业务应用：-预测结果输出：每日凌晨提供用户留存概率，推送给运营系统；-精准运营：对低留存概率用户（如＜30%）推送个性化激励（如会员体验卡、热门视频推荐）；-效果追踪：每周统计运营干预后的留存率提升幅度，优化策略（如发现“观看时长＜10分钟”的用户对优惠券更敏感）。五、综合分析题（20分）某零售企业计划构建“实时商品销量预测”系统，要求：（1）支持分钟级更新（每15分钟输出未来2小时销量预测）；（2）整合多源数据：历史销量、实时用户浏览量、促销活动（如满减、秒杀）、天气（温度、降水）；（3）需处理数据延迟（如天气数据可能延迟5-10分钟到达）；（4）模型需具备自适应能力（如促销活动结束后预测结果快速回归正常）。请设计系统架构，并详细说明各模块的功能及关键技术选型。答案：系统架构设计及模块说明：1.数据采集与接入模块-功能：实时采集多源数据，统一格式后发送至消息队列。-技术选型：-历史销量：从数据仓库（如Hive）同步至Kafka，按商品ID分区；-实时浏览量：前端埋点通过Flume采集，经KafkaStream简单清洗（过滤机器人流量）后发送至主队列；-促销活动：业务系统通过API推送，包含活动开始/结束时间、商品ID、折扣力度；-天气数据：从气象局API拉取，通过FlinkConnector接入，时间戳校正（根据数据到达时间与事件时间的差值标记延迟）。-关键操作：为每条数据添加事件时间戳（如浏览行为的发生时间），并在Kafka消息头中记录采集时间（用于后续水印提供）。2.实时数据清洗与融合模块-功能：处理乱序、延迟数据，完成多源数据的关联（按商品ID、时间窗口）。-技术选型：Flink流处理平台（支持事件时间处理、窗口操作）。-关键步骤：-水印提供：采用“周期性水印+延迟容忍”策略（水印=当前最大事件时间-10分钟，允许数据迟到10分钟）；-数据关联：定义滑动窗口（窗口大小30分钟，滑动步长15分钟），将同一商品在窗口内的浏览量、促销状态（是否处于活动中）、天气数据（取窗口内平均温度、是否降水）与历史销量（前1小时的实际销量）关联；-异常检测：使用FlinkCEP（复杂事件处理）检测异常浏览量（如某商品5分钟内浏览量激增10倍，标记为可能的爬虫攻击并过滤）。3.特征计算与存储模块-功能：提供预测所需的实时特征，存储至高速数据库供模型调用。-技术选型：-特征计算：FlinkSQL（快速定义滑动窗口的统计特征，如近15分钟浏览量、近1小时促销活动强度=折扣力度×活动剩余时间）；-特征存储：Redis（内存数据库，支持快速读写），按商品ID+时间窗口存储特征（如key=“item_123_202506151000”，value=“浏览量=500,促销力度=0.8,温度=28℃”）；-历史特征：HBase（列式存储，支持时间范围查询）存储过去7天的分钟级特征（用于模型离线训练）。4.模型预测与更新模块-功能：实时调用模型输出预测结果，支持模型在线更新。-技术选型：-预测服务：TensorFlowServing或TorchServe（支持低延迟推理，单请