2025年数据科学与大数据应用考试卷及答案

2025年数据科学与大数据应用考试卷及答案一、单项选择题（每题2分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Hadoop生态中，负责资源管理与任务调度的核心组件是（）A.HiveB.YARNC.HDFSD.Pig答案：B2.下列关于数据湖与数据仓库的描述，正确的是（）A.数据湖仅支持结构化数据B.数据仓库SchemaonWrite，数据湖SchemaonReadC.数据湖不支持ACID事务D.数据仓库比数据湖更适合存储原始日志答案：B3.在Spark中，下列哪种操作属于“宽依赖”？（）A.mapB.filterC.unionD.reduceByKey答案：D4.使用Python进行缺失值处理时，pandas中检测缺失值的函数是（）A.isnull()B.dropna()C.fillna()D.isnan()答案：A5.在关联规则挖掘中，若规则{A}→{B}的置信度为80%，则意味着（）A.80%的事务包含A∪BB.80%的事务包含AC.在包含A的事务中，有80%同时包含BD.在包含B的事务中，有80%同时包含A答案：C6.下列哪种可视化图形最适合展示连续变量的分布形态？（）A.条形图B.箱线图C.饼图D.散点图答案：B7.在Kafka中，负责持久化消息并以顺序写方式保证高吞吐的组件是（）A.ProducerB.ConsumerC.BrokerD.ZooKeeper答案：C8.使用梯度下降法优化逻辑回归时，下列哪种方法可缓解特征量纲差异带来的收敛震荡？（）A.L1正则化B.特征标准化C.增加学习率D.增加批次大小答案：B9.在Flink中，事件时间（EventTime）与处理时间（ProcessingTime）的主要区别在于（）A.事件时间由系统时钟决定B.处理时间需要设置WatermarkC.事件时间基于数据自带的时间戳D.处理时间支持乱序数据答案：C10.下列关于深度学习过拟合的应对策略，错误的是（）A.增加Dropout层B.提前终止训练C.减少训练集样本D.使用L2正则化答案：C二、多项选择题（每题3分，共15分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）11.下列属于NoSQL数据库的有（）A.MongoDBB.HBaseC.Neo4jD.PostgreSQL答案：A、B、C12.在特征选择过程中，可用于过滤式（Filter）方法的指标有（）A.皮尔逊相关系数B.卡方检验C.递归特征消除D.互信息答案：A、B、D13.下列关于A/B测试的说法，正确的有（）A.实验组与对照组应同时并行运行B.样本量越大，检验效能一定越高C.多重比较问题需进行p值校正D.停止实验的唯一标准是p值小于0.05答案：A、C14.在构建数据管道时，为保证ExactlyOnce语义，可采取的技术手段有（）A.幂等写B.两阶段提交C.增加并行度D.事务性写答案：A、B、D15.下列属于聚类算法评估外部指标的有（）A.调整兰德指数（ARI）B.轮廓系数（Silhouette）C.归一化互信息（NMI）D.CalinskiHarabasz指数答案：A、C三、填空题（每空2分，共20分）16.在Hive中，将字符串类型日期转换为标准日期函数为________。答案：to_date17.若某电商网站日均PV为1亿，峰值QPS约为3000，则其峰值放大系数约为________倍。（保留整数）答案：3018.在Python中，使用sklearn进行标准化时，调用________类的fit_transform方法。答案：StandardScaler19.在SparkSQL中，创建全局临时视图的关键字为________。答案：CREATEGLOBALTEMPVIEW20.若某决策树模型在训练集准确率为100%，测试集准确率为68%，则该模型出现了________现象。答案：过拟合21.在FlinkCEP中，定义连续事件模式的关键词为________。答案：next22.在SQL中，窗口函数row_number()必须与________子句配合使用才能生成正确序号。答案：over(orderby)23.若某分类模型TP=90，FP=10，FN=30，则召回率为________。（保留两位小数）答案：0.7524.在HDFS中，默认块大小为________MB。答案：12825.在Python中，使用matplotlib将x轴刻度旋转45度的函数为plt.xticks(rotation=________)。答案：45四、简答题（共25分）26.（开放型，8分）简述数据倾斜在Spark中的典型表现、产生原因及三种以上解决策略。答案：表现：某Task处理数据量远大于其他Task，导致Stage长时间卡在99%。原因：key分布不均，如空值、热点key；分区函数不当；聚合操作。策略：1.两阶段聚合：加随机前缀局部聚合，再去前缀全局聚合。2.过滤空值或单独处理。3.增加reduce端并行度，即提高spark.sql.shuffle.partitions。4.使用mapsidejoin替代reducesidejoin。5.自定义分区器，将热点key分散到多个分区。27.（封闭型，5分）给定用户行为表user_action(user_id,item_id,action,log_time)，写出SQL：统计最近7天内，每日新增用户数（新增定义为当日首次出现）。答案：selectdt,count()asnew_usersfrom(selectuser_id,date(min(log_time))asdtfromuser_actionwherelog_time>=date_sub(current_date,7)groupbyuser_id)tgroupbydtorderbydt;28.（开放型，7分）解释冷启动问题在推荐系统中的含义，并分别给出用户冷启动与物品冷启动的至少两种应对方法。答案：含义：系统缺乏足够历史交互数据，无法准确建模偏好。用户冷启动：1.利用注册信息（年龄、性别、地域）做人口统计推荐。2.引导用户选择兴趣标签，基于内容过滤。3.利用社交网络好友行为扩散。物品冷启动：1.基于内容特征（文本、图像、标签）计算相似物品。2.利用专家标注或众包快速收集初始反馈。3.将新物品在热门物品附近曝光，快速积累交互。29.（封闭型，5分）简述PCA降维的主要步骤，并说明如何确定主成分个数k。答案：步骤：1.标准化原始数据。2.计算协方差矩阵。3.对协方差矩阵做特征值分解，得到特征值与特征向量。4.将特征值从大到小排序，选择前k个特征向量组成投影矩阵。5.用投影矩阵将原始数据映射到k维空间。确定k：1.累计解释方差比例≥85%或90%。2.绘制碎石图，找拐点。3.交叉验证下游任务性能，选最优k。五、应用题（共40分）30.（计算类，10分）某短视频平台随机抽取10000条视频，记录播放量play与点赞数like，已知：∑play=1.2e8，∑like=3.6e6，∑play^2=2.5e12，∑like^2=2.0e9，∑play·like=6.0e10。求播放量和点赞数的皮尔逊相关系数r，保留三位小数。答案：r=(n∑play·like∑play∑like)/sqrt[(n∑play^2(∑play)^2)(n∑like^2(∑like)^2)]n=10000分子=100006.0e101.2e83.6e6=6.0e144.32e14=1.68e14分母左=100002.5e12(1.2e8)^2=2.5e161.44e16=1.06e16分母右=100002.0e9(3.6e6)^2=2.0e131.296e13=0.704e13分母=sqrt(1.06e160.704e13)=sqrt(7.4624e28)≈2.732e14r≈1.68e14/2.732e14≈0.61531.（分析类，15分）某电商公司采用XGBoost预测用户是否购买高端商品，训练集AUC=0.94，验证集AUC=0.81。（1）指出模型面临的主要问题，并给出两种可视化验证方法；（6分）（2）列出三种以上可操作的优化方案，并说明预期效果；（6分）（3）若业务要求假阴性成本是假阳性的5倍，如何调整分类阈值？给出量化思路。（3分）答案：（1）过拟合。可视化：1.绘制训练与验证的ROC曲线对比；2.绘制学习曲线（样本量AUC）观察Gap；3.绘制特征重要性条形图，检查是否依赖噪声特征。（2）优化：1.增加L2正则参数lambda，降低模型复杂度；2.减少树深度max_depth至5以内；3.增加最小叶子权重min_child_weight；4.引入Dropout（rate=0.2）或Subsample=0.8；5.扩大训练集或数据增强；6.采用EarlyStopping，rounds=50。预期：训练AUC降至0.88，验证AUC升至0.85，Gap缩小。（3）设假阳性成本1元，假阴性5元。最优阈值应满足：阈值t满足：cost_fnP(FN|t)=cost_fpP(FP|t)即5(1Recall(t))=1(1Specificity(t))在ROC空间找满足斜率=5/(1)的点，对应阈值t≈0.27（需根据PR曲线实际插值）。32.（综合类，15分）某市政府开放2024年出租车GPS数据，字段：vehicle_id,longitude,latitude,status(0空载1载客),timestamp。任务：识别潜在黑车（长期空载却仍在道路上移动）。要求：（1）给出数据清洗要点；（3分）（2）设计特征工程，至少4个特征；（4分）（3）选择算法与评估指标，说明理由；（3分）（4）给出伪代码或流程图描述批处理+实时检测双模式。（5分）答案：（1）清洗：1.剔除经纬度越界、异常速度>120km/h；2.按vehicle_id排序，修复乱序时间戳；3.插值补全缺失坐标；4.剔除重复上报点。（2）特征：1.日均空载里程占比；2.空载时段标准差（是否24小时均匀）；3.空载轨迹迂回度（轨迹长度/起止直线距离）；4.夜间（22:0005:00）空载移动次数；5.空载热点区域聚集度（DBSCAN密度）。（3）算法：采用半监督异常检测——IsolationForest，理由：无需标注黑车样本，对高维特征鲁棒；评估：用人工抽检1000辆车，计算Preci