2026年数据科学与大数据技术考试试卷及答案

2026年数据科学与大数据技术考试试卷及答案一、单项选择题（每题2分，共20分）1.在数据科学项目中，数据清洗通常占整个项目工作量的比例约为（）。A.10%～20%B.30%～50%C.60%～80%D.90%以上2.在Python的pandas库中，用于删除含有缺失值的行或列的函数是（）。A.fillna()B.dropna()C.replace()D.isnull()3.下列哪种数据标准化方法对异常值（离群点）的鲁棒性最强？（）A.Min-Max标准化B.Z-score标准化C.小数定标标准化D.稳健标准化（基于中位数和四分位距）4.在MapReduce编程模型中，负责对Map输出结果进行排序和归并（shuffle）的阶段是（）。A.Map阶段B.Shuffle阶段C.Reduce阶段D.Combine阶段5.在Hadoop生态系统中，Hive的主要作用是（）。A.分布式文件存储B.分布式资源调度C.数据仓库工具，提供SQL查询接口D.实时流处理6.在Spark中，RDD（弹性分布式数据集）的以下哪个特性保证了数据丢失后的可恢复性？（）A.只读性B.惰性求值C.血缘关系（Lineage）D.持久化（Cache）7.下列属于无监督学习算法的是（）。A.线性回归B.逻辑回归C.K-Means聚类D.决策树分类8.在关联规则挖掘中，支持度（Support）的公式为（）。A.PB.PC.PD.P9.在大数据技术架构中，Lambda架构包含的三层是（）。A.批处理层、速度层、服务层B.数据源层、采集层、存储层C.离线层、在线层、中间层D.计算层、存储层、展示层10.下列哪个指标不能用于衡量分类模型的性能？（）A.准确率（Accuracy）B.F1-ScoreC.AUCD.均方误差（MSE）二、多选题（每题3分，共15分）1.下列属于数据清洗常用手段的有（）。A.缺失值填充B.异常值检测与处理C.数据归一化D.重复数据去重E.主成分分析2.下列关于K-Means算法的说法，正确的有（）。A.需要预先指定聚类数KB.对初始聚类中心敏感C.能够保证收敛到全局最优解D.适合处理含有大量噪声的数据E.采用欧氏距离衡量样本相似度时，需先对特征进行标准化3.下列属于HDFS中NameNode职责的有（）。A.管理文件系统的命名空间B.维护数据块到DataNode的映射关系C.存储实际的数据块内容D.处理客户端的读写请求E.执行MapReduce计算任务4.下列关于数据可视化的原则，正确的有（）。A.图表类型应与数据特征和表达目的相匹配B.颜色使用应注重区分度和可读性C.为追求美观效果，可以任意使用3D立体图表D.坐标轴刻度应完整且标注清楚E.尽量减少不必要的装饰元素5.下列属于流式计算框架的有（）。A.ApacheFlinkB.ApacheStormC.ApacheKafkaD.SparkStreamingE.ApacheHBase三、判断题（每题2分，共10分）1.Z-score标准化要求数据服从正态分布，否则不能使用。2.在关联规则挖掘中，置信度（Confidence）衡量的是规则的可靠性，置信度越高的规则一定越有价值。3.HDFS适合存储大量小文件。4.A/B测试中，实验组与对照组应尽可能保证样本的同质性。5.在Spark中，map和flatMap的返回结果没有区别，都是返回一个RDD。四、简答题（每题5分，共20分）1.简述数据科学项目的一般流程，并各举一个环节的关键任务。2.简述K折交叉验证的基本思想，并说明它的优点。3.简述HDFS中数据块（Block）的副本放置策略，并说明其目的。4.简述数据脱敏的常见方法，并说明数据脱敏在大数据应用中的意义。五、计算题（每题10分，共20分）1.给定如下数据集，其中特征为「天气」「风力」，目标变量为「是否出门」。序号天气风力是否出门1晴小是2晴大否3阴小是4阴大是5雨小否6雨大否(1)计算「是否出门」的信息熵H((2)计算按「风力」划分后的条件熵H(Y|H(2)「风力=小」共3个样本（序号1、3、5），其中出门2个、不出门1个：H「风力=大」共3个样本（序号2、4、6），其中出门1个、不出门2个：HHG解析：第(2)问需先分别计算两个分支的熵，再按样本比例加权平均求得条件熵，最后用总熵减去条件熵得到信息增益。2.给定二维数据点：A(1,1)、B(1,2)、(1)写出每个样本的最近中心及其所属簇。(2)计算更新后的聚类中心。CC解析：计算距离时使用欧氏距离公式d=六、案例分析题（15分）某电商平台积累了近一年的用户行为日志数据，包括用户注册信息（年龄、性别、所在城市）、浏览记录（浏览商品类别、浏览时长）、加购记录、订单记录（购买金额、购买频次）以及售后记录（退换货次数）。平台希望构建一个「用户流失预警模型」，预测未来30天内可能流失的高价值用户，以便运营团队及时干预。请回答以下问题：(1)结合业务场景，定义「流失用户」和「高价值用户」的合理口径（各写出一种即可）。（4分）(2)在建模前，需要对上述数据进行哪些预处理？请结合具体数据特征说明。（4分）(3)应将该问题建模为分类问题还是回归问题？请选择合适的评估指标并说明理由。（3分）(4)在模型选择上，你会选择什么算法？请说明理由，并针对类别不平衡问题提出一种处理策略。（4分）参考答案与解析一、单项选择题1.答案：C解析：数据清洗是数据科学项目中耗时最长的环节。实际项目中，数据采集、清洗与预处理通常占60%～80%的工作量，建模与分析只占较小比例。2.答案：B解析：dropna()用于删除缺失值；fillna()用于填充缺失值；isnull()用于检测缺失值。3.答案：D解析：稳健标准化使用中位数和四分位距（IQR），不受极端值影响；Min-Max和Z-score都会因异常值而严重失真。4.答案：B解析：Shuffle阶段在Map输出和Reduce输入之间，负责分区（partition）、排序（sort）和归并（merge）。Combine是Map端的局部合并，不属于独立阶段。5.答案：C解析：Hive将SQL语句转换为MapReduce或Tez作业，提供类SQL查询能力。HDFS负责存储，YARN负责资源调度，Storm/Flink负责实时流处理。6.答案：C解析：RDD通过记录血统（父RDD及转换操作）实现容错，当分区数据丢失时可重新计算。持久化只是缓存策略。7.答案：C解析：K-Means聚类不带标签进行分组。线性回归、逻辑回归、决策树分类均属于监督学习。8.答案：A解析：支持度是项集同时出现的概率，即P(X∩Y)9.答案：A解析：Lambda架构由批处理层（BatchLayer）、速度层（SpeedLayer）和服务层（ServingLayer）组成，分别负责全量计算、实时计算和结果查询。10.答案：D解析：MSE是回归模型的评估指标。A、B、C均属于分类模型的评估指标。二、多选题1.答案：ABD解析：数据清洗的核心任务是处理缺失值、异常值和重复值。归一化属于数据变换，主成分分析属于降维，两者不属于清洗范畴。2.答案：ABE解析：K-Means只能保证收敛到局部最优而非全局最优（C错）；对噪声和离群点敏感，K-Means++也不能彻底解决（D错）。3.答案：ABD解析：NameNode是HDFS的主节点，负责命名空间、元数据管理和处理客户端请求，不存储实际数据，也不执行计算任务。DataNode负责存储数据块。4.答案：ABDE解析：3D图表往往会造成视觉误判、降低精确度，一般场景下应避免（C错）。简洁、准确是可视化设计的核心原则。5.答案：ABD解析：Flink、Storm、SparkStreaming都是典型流处理框架。Kafka是分布式消息队列（常作为流计算的数据源），HBase是NoSQL数据库，不属计算框架。三、判断题1.答案：错误解析：Z-score标准化（x−2.答案：错误解析：置信度高不代表规则有价值，还需结合支持度和提升度。置信度高但提升度小于1的规则实际上是负相关规则。3.答案：错误解析：HDFS的NameNode将元数据驻留内存，海量小文件会严重消耗NameNode内存，影响系统扩展性。HDFS适合存储大文件。4.答案：正确5.答案：错误解析：map每个输入元素生成一个输出元素；flatMap每个输入元素可生成零个或多个输出元素，并将所有结果扁平化，返回元素数量可以不同。四、简答题1.答案：数据科学项目的一般流程为：(1)业务理解：明确业务目标并转化为数据问题；(2)数据采集：从数据库、API、日志等渠道获取原始数据；(3)数据清洗与预处理：处理缺失值、异常值、重复值，进行数据标准化；(4)探索性数据分析（EDA）：通过统计分析和可视化发现数据分布与特征关系；(5)特征工程：特征选择、特征构造、降维；(6)模型选择与训练：构建训练集和测试集，选择合适的算法进行训练；(7)模型评估与调优：通过交叉验证、网格搜索等优化超参数；(8)部署与监控：模型上线，持续监控效果并迭代更新。2.答案：K折交叉验证将数据集随机划分为K个大小相近的互斥子集，每次用K−1个子集训练，用剩余1个子集验证，重复K次使每个子集均充当一次验证集，最后取K次评估结果的平均值作为模型性能估计。其优点是：充分利用全部数据参与训练和验证，降低因数据划分方式不同带来的偶然性，比单次划分训练/测试集对模型性能的评估更稳定可靠。3.答案：HDFS默认副本数为3，放置策略为：第一个副本放在客户端所在节点（若客户端不在集群内，则随机选择节点）；第二个副本放在与第一个副本不同机架的节点上；第三个副本放在与第二个副本相同机架的不同节点上。该策略在保证数据可靠性的同时兼顾了网络传输带宽和读写性能。4.答案：常见方法包括：替换（如将姓名替换为随机编号）、遮蔽（如手机号138**1234）、泛化（如将年龄25替换为20～30区间）、扰动（添加随机噪声）、加密（对敏感字段进行不可逆哈希）。数据脱敏在保护用户隐私、满足法律法规合规要求的同时，保证了数据可用性。五、计算题1.答案：(1)出门样本3个（序号1、3、4），不出门样本3个（序号2、5、6），两类概率均为362.答案：(1)样本A(1,1)到C1距离0，到C2距离50，属于C1。样本B(1,2)到C1距离1，到C2距离41，属于C1。样本C(2,1)到C1距离1，到C2距离50，属于C1。样本D(6,(2)更新后的聚类中心为各簇的均值：六、案例分析题答案：(1)流失用户：最近30天内无登录且无购买行为的用户（或近30天无任何浏览/加购/购买记录）。高价值用户：近90天内累计消费金额位于全用户前20%的用户（或近90天购买频次大于等于5次）。(2)数据预处理包括：①缺失值处理：注册信息中的年龄、城市等字段可能存在缺失，可用众数填充或删除；②异常值处理：单次购买金额极端偏高（如超过均值3个标准差）需核查是否为异常订单；③数据标准化：年龄、浏览时长、购买金额等量纲差异大，需进行Z-score标准化或Min-Max归一化；④特征构造：从浏览、加购、订单记录中聚合出近7天/30天活跃度、客单价、购买频次、退换货率等衍生特征；⑤时间窗口划分：设定观察窗口（近90天）和表现窗口（未来30天），避免特征与标签时间重叠造成数据泄漏。(3)应建模为二分类问题，预测用户「流失/未流失」。评估指标首选AUC（ROC曲线下面积）或F1-Score。理由：流失用户通常为少数类，准确率会因多数类主导而虚高。AUC不依赖分类阈值，能综合评价模型区分正负类的能力；F1-Score能平衡精确率与召回率，便于运营侧根据干预成本调整阈值。(4)算法推荐选择XGBoost或Lig