2026年数据科学与大数据技术职业考试试题及答案

2026年数据科学与大数据技术职业考试试题及答案一、单项选择题（每题2分，共20分）1.在处理缺失数据时，pandas中用于删除包含缺失值的行或列的函数是？A.dropna()B.fillna()C.isnull()D.replace()答案：A解析：fillna()用于填充缺失值，isnull()用于检测缺失值位置，replace()用于值替换。2.HDFS默认的副本数是？A.2B.3C.5D.由客户端随机指定答案：B3.Spark中RDD采用惰性求值机制，下列属于行动算子（Action）的是？A.map()B.filter()C.collect()D.flatMap()答案：C解析：map、filter、flatMap均为转换算子，只有调用collect、count、saveAsTextFile等行动算子时，Spark才会真正提交作业并触发计算。4.数据仓库的ETL过程中，“T”指的是？A.抽取（Extract）B.转换（Transform）C.加载（Load）D.清洗（Clean）答案：B解析：ETL对应抽取（Extract）、转换（Transform）、加载（Load）三个环节。5.依据《个人信息保护法》，处理人脸、指纹等敏感个人信息时，应当？A.取得个人的单独同意B.仅需告知即可C.取得概括同意D.无需任何同意答案：A解析：敏感个人信息的处理需取得个人单独同意，且应告知处理必要性与对个人的影响。6.MapReduce中，Map端输出结果先写入内存缓冲区，当缓冲区使用率达到阈值时将数据溢写到本地磁盘，该过程称为？A.SpillB.SplitC.SortD.Seek答案：A解析：Spill（溢写）发生在缓冲区占用超过阈值时，溢写过程中会同时进行分区和排序。7.模型在训练集上表现良好，但在测试集上表现较差，最可能的原因是？A.欠拟合B.过拟合C.特征维度过低D.学习率过高答案：B8.下列图形中，最适合展示连续变量分布形态（如偏态、峰态）的是？A.饼图B.直方图C.桑基图D.雷达图答案：B9.大数据平台中，用于资源管理与任务调度的常用组件是？A.HiveB.YARNC.FlumeD.Sqoop答案：B10.关于数据治理，下列说法不正确的是？A.数据治理包括数据标准、数据质量、元数据和安全等方面B.数据治理的核心目标是提升数据资产价值C.数据治理只需要由技术部门实施D.数据治理需要建立组织架构和制度规范答案：C解析：数据治理需要业务、技术、管理多方协同，仅靠技术部门无法有效落地。二、判断题（每题2分，共20分）1.HDFS适合高吞吐量的批量读取，但不适合低延迟的随机写入。答案：正确2.Spark是基于内存计算的分布式计算框架，在迭代计算场景下通常比HadoopMapReduce更高效。答案：正确3.pandas提供了pd.read_mysql()函数，可以直接读取MySQL数据库中的数据。答案：错误解析：pandas并未内置readmysql()函数，通常使用pd.readsql()配合SQLAlchemy完成数据库读取。4.GIL（全局解释器锁）使得Python多线程无法充分利用多核CPU进行并行计算。答案：正确解析：CPython的GIL限制了同一时刻仅有一个线程执行字节码，CPU密集型任务受影响明显，而I/O密集型任务仍可获得并发收益。5.数据仓库中的ODS层是面向主题的、集成的、不可更新的数据集合。答案：错误解析：ODS层是贴源层，保留接近原始的数据；面向主题、集成、不可更新属于数据仓库DW层的特征。6.匿名化处理后的个人信息不再属于个人信息，可以自由处理。答案：错误解析：匿名化后的信息无法识别特定个人，可不再适用个人信息保护规则；若仅为去标识化仍可重新识别，则仍属于个人信息，此说法不完整。7.对于类别不平衡的分类问题，SMOTE（合成少数类过采样技术）属于数据层面的处理手段。答案：正确8.ApacheFlink具备真正的流处理能力，支持事件时间和精确一次（Exactly-Once）语义。答案：正确9.数据仓库建模中的KPI技术，是指通过维度表和事实表设计来组织数据的建模方法。答案：错误解析：维度建模对应的是星型模型、雪花模型等技术；KPI（关键绩效指标）属于指标管理范畴，并非建模技术。10.在大数据平台架构中，NoSQL数据库可以完全取代关系型数据库。答案：错误三、多项选择题（每题3分，共15分）1.下列属于数据质量评价维度的有？A.完整性B.准确性C.一致性D.及时性E.可扩展性答案：ABCD解析：数据质量常用完整性、准确性、一致性、及时性、唯一性等维度衡量；可扩展性属于系统架构评价指标。2.下列属于常见分布式协调服务的有？A.ZooKeeperB.HBaseC.KafkaD.etcdE.Redis答案：AD解析：ZooKeeper和etcd用于配置管理、服务发现与分布式锁；HBase与Redis是存储系统，Kafka是消息队列。3.关于CAP定理，下列说法正确的有？A.一致性（Consistency）B.可用性（Availability）C.分区容忍性（PartitionTolerance）D.持久性（Durability）E.原子性（Atomicity）答案：ABC解析：CAP指一致性、可用性、分区容忍性，分布式系统通常需在一致性与可用性之间权衡；持久性和原子性属于ACID特性。4.关于PCA（主成分分析），下列说法正确的有？A.是一种线性降维方法B.各主成分之间相互正交C.第一主成分方向是数据方差最大的方向D.降维后特征维度保持不变E.PCA要求数据必须已经标准化答案：ABC解析：PCA通过正交变换将数据映射到方差最大的方向，达到降维目的；对量纲敏感，因此通常建议先标准化，但标准化并非算法运行的强制前提。5.下列属于数据归一化（无量纲化）处理方法的有？A.Min-Max归一化B.Z-score标准化C.小数定标归一化D.One-Hot编码E.缺失值均值填充答案：ABC解析：Min-Max、Z-score、小数定标均用于消除量纲影响；One-Hot编码属于分类特征展开，均值填充属于缺失值处理。四、简答题（每题5分，共15分）1.简述HDFS中客户端写入一个文件的完整流程。答案：(1)客户端向NameNode发起写请求，NameNode检查权限与目录后返回可用的DataNode节点列表；(2)客户端将文件按块大小切分，以流水线方式写入第一个DataNode，该节点再依次传递给第二个、第三个DataNode；(3)每个DataNode完成写入并校验后，逐级返回确认信息；(4)所有块写入完成后，客户端通知NameNode关闭文件，NameNode更新元数据。2.简述数据治理中“元数据管理”的主要作用与基本内容。答案：(1)作用：对数据的来源、口径、血缘、归属和变更进行统一描述，保证数据可理解、可追溯、可管理，支撑数据质量、数据安全与数据资产化；(2)基本内容：技术元数据（表结构、字段、存储位置）、业务元数据（指标口径、业务定义）、管理元数据（责任人、数据密级、生命周期）。3.简述Spark与HadoopMapReduce的主要区别。答案：(1)计算模型：MapReduce固定为Map和Reduce两阶段，中间结果写磁盘；Spark将计算抽象为DAG，中间结果优先驻留内存；(2)迭代效率：Spark适合多次迭代的机器学习场景，MapReduce每次迭代都需重新读写磁盘；(3)容错机制：MapReduce依赖任务重试，Spark基于RDD血缘实现更轻量的容错恢复；(4)易用性：Spark提供Scala、Python、SQL统一接口，并集成流计算、机器学习等组件，生态更丰富。五、计算题（每题5分，共10分）1.某数据集包含10个样本的销售金额（单位：万元）：2，3，5，5，7，8，9，12，15，20计算该数据集的均值、中位数和众数，并写出均值计算公式。答案：均值公式：xx中位数：数据已升序排列，中间两个数为7和8，因此中位数为(7众数：5出现2次，次数最多，因此众数为5。解析：均值易受极端值影响；中位数反映中间位置；众数反映出现频率最高的取值。本题三个指标分别体现数据集中趋势的不同侧面。2.某二分类模型在测试集上的混淆矩阵如下：•真正例（TP）为8个•假正例（FP）为2个•假负例（FN）为4个•真负例（TN）为6个计算精确率（Precision）、召回率（Recall）和F1值，并写出关键公式。答案：精确率：P召回率：RF1值：F解析：精确率衡量“预测为正例中真正的正例占比”，召回率衡量“实际正例中被正确找出的占比”，F1是两者的调和平均，兼顾两者平衡。六、案例分析题（每题10分，共20分）1.某电商平台在大促期间运行Spark离线分析任务时，部分任务执行时间由20分钟骤增至1小时以上。日志显示某些key对应的数据量远超平均水平，出现数据倾斜。(1)分析数据倾斜产生的主要原因；（3分）(2)提出至少三种可操作的优化方案；（5分）(3)说明“小表Join大表”场景下BroadcastJoin的基本思路。（2分）答案：(1)主要原因：-key分布不均匀，某个或某几个key的数据量远超其他key，如热门商品、大客户；-业务数据本身存在热点，如秒杀商品订单量激增；-关联字段存在大量空值或默认值，导致数据集中到同一分区；-分区数设置过少或分区函数选择不当。(2)优化方案：-两阶段聚合：对热点key添加随机前缀，先局部聚合，再去掉前缀进行全局聚合；-广播小表：将小表广播到各Executor内存，避免Shuffle；-提高并行度：适当增大spark.sql.shuffle.partitions，均衡单分区负载；-过滤或改造空值：对空值key单独处理，不参与正常聚合；-自定义分区器：根据key分布设计更均衡的分区策略。(3)BroadcastJoin基本思路：将小于阈值（默认10MB）的表广播到所有Executor内存并构建HashMap，大表各分区在本地直接匹配小表数据，省去Shuffle和排序过程。可通过spark.sql.autoBroadcastJoinThreshold调整广播阈值。解析：该题考查对Spark任务调优的实践能力。数据倾斜的本质是分区负载不均衡，优化方向分为数据预处理、计算策略调整和参数调优三类，考生能结合热点key特征说明处理逻辑即可得分。2.某公司构建用户画像系统，将订单、浏览日志、客服记录等原始数据汇入数据仓库，用于客群分析与精准营销。(1)绘制数据仓库分层结构，并简要说明各层作用；（4分）(2)从数据质量角度，列举用户画像数据入库前应完成的质量检查项；（4分）(3)依据我国数据安全相关法律，处理用户行为数据时应遵循哪些合规要求？（2分）答案：(1)分层结构与作用：-ODS层（贴源层）：原样存放订单、日志等原始数据；-DWD层（明细层）：完成清洗、格式统一、维度退化，形成明细事实数据；-DWS层（汇总层）：按用户、商品等主题轻度汇总，供多业务复用；-ADS层（应用层）：面向客群分析、用户画像标签等场景生成应用指标。(2)质量检查项：-完整性：用户ID、时间戳、事件类型等必填字段缺失率是否在阈值内；-准确性：字段值与业务事实一致，如金额非负、状态取值合法；-一致性：订单、日志、商品库等多源数据口径一致，无冲突