2025年数据科学与大数据技术考试试卷及答案

2025年数据科学与大数据技术考试试卷及答案一、单项选择题（每题2分，共20分）1.以下哪种数据清洗方法适用于处理时间序列数据中的周期性缺失值？A.均值填充法B.线性插值法C.众数替换法D.删除缺失行答案：B2.在机器学习中，L2正则化主要用于解决以下哪个问题？A.欠拟合B.类别不平衡C.过拟合D.特征稀疏性答案：C3.分布式计算框架Hadoop的核心组件中，负责资源管理的是？A.HDFSB.YARNC.MapReduceD.HBase答案：B4.以下哪种算法属于无监督学习？A.逻辑回归B.K-means聚类C.随机森林D.支持向量机（SVM）答案：B5.关于SparkRDD的特性，以下描述错误的是？A.不可变（Immutable）B.支持惰性计算（LazyEvaluation）C.仅存储于内存中D.可通过转换操作（Transformation）提供新RDD答案：C6.数据可视化中，用于展示三个变量间关系的常用图表是？A.散点图矩阵B.热力图C.箱线图D.折线图答案：A7.以下哪种大数据存储系统适合存储非结构化的日志文件？A.HBase（列式存储）B.HDFS（分布式文件系统）C.MySQL（关系型数据库）D.Redis（内存数据库）答案：B8.在特征工程中，将“性别”字段（取值为“男”“女”）转换为数值特征的常用方法是？A.标准化（Z-score）B.独热编码（One-HotEncoding）C.对数变换D.分箱（Binning）答案：B9.实时流计算框架Flink中，事件时间（EventTime）的语义是指？A.数据进入系统的时间B.数据实际发生的时间C.数据被处理完成的时间D.窗口触发的时间答案：B10.联邦学习（FederatedLearning）的核心目标是？A.提升模型训练速度B.保护数据隐私C.降低计算资源消耗D.解决数据分布不平衡答案：B二、填空题（每空2分，共20分）1.数据清洗中，处理异常值的常用方法包括统计检验法（如Z-score、IQR）、聚类检测法和业务规则过滤。2.机器学习模型评估中，精确率（Precision）的计算公式为TP/(TP+FP)（TP为真阳性，FP为假阳性）。3.HadoopHDFS的默认副本数是3。4.Spark中，将RDD持久化到内存与磁盘的存储级别是MEMORY_AND_DISK。5.时间序列预测中，ARIMA模型的三个参数分别代表自回归阶数（p）、差分阶数（d）和移动平均阶数（q）。6.大数据平台中，Kafka的核心组件是消息队列（Broker）、生产者（Producer）和消费者（Consumer）。7.特征工程中，处理高基数类别特征（如“用户ID”）的常用方法是哈希编码（HashingTrick）或嵌入向量（Embedding）。8.实时计算中，窗口（Window）的常见类型包括时间窗口、计数窗口和会话窗口。9.数据湖（DataLake）与数据仓库（DataWarehouse）的关键区别在于数据湖存储原始未加工数据，而数据仓库存储结构化、清洗后的数据。10.深度学习中，LSTM（长短期记忆网络）通过遗忘门、输入门和输出门解决长序列依赖问题。三、简答题（每题8分，共40分）1.简述数据清洗的主要步骤及各步骤的核心任务。答案：数据清洗主要包括以下步骤：（1）缺失值处理：识别缺失值的分布（如完全随机缺失、随机缺失），选择填充方法（均值/中位数填充、插值法、模型预测填充）或删除少量缺失行。（2）异常值检测：通过统计方法（如Z-score、IQR）、聚类方法（如DBSCAN）或业务规则（如年龄>150岁）识别异常值，决定修正、保留或删除。（3）重复值处理：检测完全重复或部分重复的记录（如同一用户多次提交相同数据），去重并保留最新或最完整的记录。（4）格式标准化：统一数据格式（如日期格式“2024-06-01”与“06/01/2024”）、单位（如“kg”与“公斤”），确保一致性。（5）逻辑校验：检查数据是否符合业务逻辑（如订单金额不能为负、注册时间早于下单时间），修正或标记矛盾数据。2.对比随机森林（RandomForest）与梯度提升树（GBDT）在原理和应用场景上的差异。答案：原理差异：随机森林是并行集成方法，通过自助采样（Bootstrap）提供多棵决策树，每棵树独立训练，最终结果通过投票（分类）或平均（回归）集成。GBDT是串行集成方法，基于前一棵树的残差（或负梯度）训练下一棵树，通过累加所有树的预测结果优化损失函数。应用场景差异：随机森林适用于数据噪声大、需要快速训练的场景（如实时推荐中的特征重要性筛选），对过拟合有较好的鲁棒性。GBDT适用于高精度需求的场景（如信贷风控评分、用户流失预测），通过逐步修正误差提升模型性能，但易过拟合，需调整学习率和树深度。3.说明SparkRDD的持久化（Persistence）机制及其常用存储级别的选择依据。答案：持久化机制：RDD通过`persist()`或`cache()`方法将中间结果存储在内存或磁盘中，避免重复计算（如多次行动操作触发重复转换），提升计算效率。常用存储级别及选择依据：MEMORY_ONLY：仅内存存储，适用于RDD能被内存容纳且计算代价高的场景（如复杂JOIN后的结果）。MEMORY_ONLY_SER：内存存储并序列化（减小内存占用），适用于RDD体积大但反序列化速度快的场景（如日志处理后的统计指标）。MEMORY_AND_DISK：内存+磁盘，当内存不足时溢出到磁盘，适用于RDD体积大且计算代价极高的场景（如全量用户行为数据的聚合）。DISK_ONLY：仅磁盘存储，适用于内存严重不足但数据需要重复使用的场景（如历史数据的周期性分析）。4.设计一个基于Hadoop生态的日志分析流程，需包含数据采集、存储、处理和结果输出环节。答案：流程设计如下：（1）数据采集：使用Flume或Logstash实时采集服务器日志（如Nginx访问日志、应用程序ERROR日志），通过自定义拦截器过滤无效字段（如静态资源访问）。（2）数据存储：将清洗后的日志写入HDFS（分布式存储），按日期分区（如`/logs/2024/06/01`），确保高容错性和可扩展性。（3）数据处理：离线处理：使用Hive将日志文件映射为外部表，通过HiveSQL计算每日UV（独立访客数）、PV（页面浏览量）、错误率（ERROR日志占比）。实时处理（可选）：使用SparkStreaming或Flink消费Kafka中的实时日志流，统计5分钟内的接口响应时间分位数（如P95）。（4）结果输出：将分析结果写入HBase（低延迟查询）或MySQL（业务系统对接），供BI工具（如Tableau）可视化展示，或推送至监控系统触发警报（如错误率>5%）。5.解释数据倾斜（DataSkew）的表现、成因及解决方案。答案：表现：分布式计算中，部分节点处理的数据量远大于其他节点，导致任务超时、资源浪费（如某Reducer处理90%的数据，其他Reducer空闲）。成因：数据分布不均：如用户行为数据中，少数“活跃用户”产生大量记录。关联操作键倾斜：JOIN或GROUPBY时，某些键（如“商品ID”）的出现次数远超其他键。解决方案：预处理阶段：对倾斜键进行“加盐”（如为键添加随机数后缀），分散到多个分区，计算后再去盐聚合（如先计算加盐后的子聚合，再合并结果）。计算阶段：使用Spark的`spark.sql.adaptive.skewJoin.enabled`参数开启自适应倾斜JOIN，自动拆分倾斜数据并广播小表。存储阶段：对高频键提前分组（如将“活跃用户”单独存储为小文件），避免集中处理。四、应用题（每题15分，共30分）1.某电商平台提供2024年双11大促期间的用户行为数据（字段包括：用户ID、商品ID、行为类型（点击/收藏/加购/购买）、时间戳、用户所在城市、商品类目），要求设计特征工程流程，用于构建“用户购买转化率预测模型”。答案：特征工程流程设计如下：（1）基础特征：用户维度：用户年龄、性别（需关联用户信息表）、城市等级（一线/新一线/二线等）、注册时长（当前时间-注册时间）。商品维度：商品类目（一级/二级类目）、商品价格（需关联商品信息表）、商品历史销量（近30天销量）。（2）时间序列特征：用户近期行为：近1小时/24小时点击次数、收藏次数、加购次数（反映即时购买意愿）。行为间隔：最后一次购买与当前时间的间隔（间隔越短，复购概率越高）、点击到加购的平均时间（反映决策速度）。（3）统计聚合特征：用户行为转化率：历史加购→购买转化率（购买次数/加购次数）、收藏→购买转化率（处理0除问题，如用（购买次数+1）/(加购次数+1)）。商品热度：当前小时类目下商品的点击量/加购量（热门商品更易被购买）。（4）交叉特征：用户-类目偏好：用户在该类目下的历史购买占比（如用户A购买的商品中70%属于“家电”类目）。城市-价格敏感度：城市等级与商品价格的交叉（如一线城市用户对高价商品的接受度更高）。（5）特征标准化与编码：连续特征（如注册时长）：使用Z-score标准化消除量纲影响。类别特征（如城市等级、商品类目）：高基数类目用目标编码（TargetEncoding，如计算类目对应的平均转化率），低基数类目用独热编码。（6）特征筛选：基于IV值（信息价值）筛选预测能力强的特征（IV>0.1）。基于随机森林的特征重要性排序，剔除重要性低于阈值的特征（如重要性<0.01）。2.某金融机构的交易日志中存在异常交易（如同一用户短时间内多笔大额转账），需设计一个实时异常检测系统。要求：（1）说明系统架构；（2）列出使用的技术组件；（3）描述核心检测逻辑。答案：（1）系统架构设计：日志采集→消息队列→实时计算→异常存储→预警通知（2）技术组件：采集层：Flume（或Filebeat）实时采集交易系统日志（格式为JSON，包含用户ID、交易金额、交易时间、IP地址等字段）。消息队列：Kafka（高吞吐量、持久化）缓存日志流，解耦采集与计算模块。计算层：Flink（低延迟、精确一次处理）进行实时计算，提取用户行为特征。存储层：HBase（列式存储）存储历史交易记录（用于特征对比），Redis（内存数据库）缓存实时计算的中间结果（如用户最近10笔交易）。预警层：将异常交易写入数据库（如MySQL），并通过消息中间件（如RabbitMQ）推送至监控平台（如Prometheus）触发短信/邮件警报。（3）核心检测逻辑：窗口定义：滑动窗口（如5分钟窗口，步长1分钟），统计用户在窗口内的交易次数、总金额。规则检测：单条交易：金额超过用户历史日均交易额的5倍（通过HBase查询用户近30天日均交易额）。批量交易：5分钟内交易次数>10次且总金额>50万元。地域异常：交易IP地址与用户常用IP（如注册IP、最近30天登录IP）的地理位置偏差超过500公里（调用地理信息API验证）。模型检测（可选）：使用孤立森林（IsolationForest）无监督模型，基于用户历史交易特征（金额、时间间隔、IP变化率）训练异常分数模型，实时计算当前交易的异常分数（分数>阈值则标记为异常）。五、综合题（20分）设计一个基于大数据技术的“智能交通拥堵预测系统”，要求包含数据来源、处理流程、核心模型及应用场景。答案：1.数据来源：交通感知数据：道路摄像头（车流量、车速）、RFID传感器（车辆轨迹）、GPS终端（出租车/公交车实时位置）。外部数据：气象局（降雨量、风速）、地图应用（用户上报的拥堵事件）、日历（节假日、大型活动）。2.处理流程：（1）数据采集与清洗：实时采集：使用MQTT协议（低延迟）接收传感器数据，通过Flink的DataStreamAPI过滤无效数据（如车速>200km/h的异常值）。离线清洗：将历史数据（近3年）导入Hive，处理缺失的时间戳（通过线性插值补全）、修正错误的车辆ID（通过校验码规则）。（2）特征工程：时间特征：小时（高峰/平峰）、星期（工作日/周末）、是否节假日。空间特征：道路等级（高速/城市快速路/普通道路）、周边POI（学校、商圈、医院）密度。时序特征：前1小时/前3小时的平均车流