2026年数据科学与大数据技术职业资格考试试题及答案

2026年数据科学与大数据技术职业资格考试试题及答案一、单项选择题（每题2分，共20分）1.在Hadoop生态架构中，负责分布式文件系统存储的组件是？A.MapReduceB.YARNC.HDFSD.Zookeeper2.在Spark中，表示弹性分布式数据集的核心抽象是？A.DataFrameB.DataSetC.RDDD.DStream3.下列哪种NoSQL数据库属于列族存储模型？A.RedisB.HBaseC.MongoDBD.Neo4j4.在MapReduce编程模型中，shuffle阶段主要发生在哪个环节之间？A.Map之间B.Map之后、Reduce之前C.Reduce之后D.数据输入之前5.标准正态分布的均值与标准差分别是？A.0和1B.1和0C.0和0D.1和16.在Pandas中，用于删除含有缺失值的行的函数是？A.fillna()B.dropna()C.isnull()D.drop()7.下列哪个算法属于有监督分类算法？A.K-MeansB.AprioriC.决策树D.PCA8.数据仓库中，常见的事实表和维度表所组成的模型是？A.星形模型B.网状模型C.层次模型D.关系模型9.在Hive中，将查询结果保存为新表的语句是？A.SELECTINTOB.INSERTINTOC.CREATETABLEASSELECTD.SAVEAS10.关于Z-score标准化，正确的描述是？A.将数据缩放到[0,1]区间B.减去均值后除以标准差C.将最大值映射为1D.对所有数据取对数变换二、多项选择题（每题3分，共30分）1.下列哪些组件属于Hadoop生态系统的常用组件？A.HiveB.HBaseC.SparkD.Sqoop2.关于Spark与MapReduce的比较，下列说法正确的有？A.Spark将中间结果缓存到内存，迭代计算速度更快B.MapReduce更擅长处理迭代式算法C.Spark支持流处理、图计算等多种计算范式D.MapReduce的编程模型相对简单3.大数据常用的数据分析方法包括哪些？A.统计分析B.数据挖掘C.机器学习D.可视化分析4.下列哪些操作属于数据清洗的常见处理？A.缺失值填充B.异常值检测C.重复值去重D.生成可视化图表5.关于HBase的特性，下列描述正确的有？A.支持原生SQL查询B.面向列族存储C.完全支持ACID事务D.分布式、可水平扩展6.下列哪些算法属于无监督学习？A.K-MeansB.AprioriC.线性回归D.DBSCAN7.在Linux命令行中，常用于查看大数据文本文件内容的命令有？A.tailB.headC.catD.printf8.下列技术中，可用于大数据采集的有？A.FlumeB.KafkaC.SqoopD.HDFS9.关于ZooKeeper在Hadoop中的作用，说法正确的有？A.提供分布式协调服务B.管理NameNode高可用C.保存具体业务数据D.维护集群配置信息10.下列哪些属于经典的数据挖掘算法？A.ID3决策树B.K-MeansC.AprioriD.PageRank三、判断题（每题1分，共10分）1.HDFS默认的副本数是3。2.SparkSQL的操作对象在正式版本中称为SchemaRDD。3.大数据分析中的数据清洗一般不需要处理缺失值。4.K-Means算法需要预先指定簇的个数k。5.数据仓库主要面向在线事务处理（OLTP）场景。6.随机森林是一种基于决策树的集成学习算法。7.归一化和标准化是同一个概念，可以互换使用。8.Hive中可以使用HiveQL进行复杂的数据分析。9.在MapReduce中，Partitioner的作用是对Map输出的键值对进行分区。10.JSON格式属于结构化数据。四、简答题（每题5分，共20分）1.简述HDFS的核心架构及主要组件。2.简述SparkStandalone模式与YARN模式的主要区别。3.什么是数据标准化？常用的数据标准化方法有哪些？4.简述数据仓库与传统操作型数据库（OLTP）在面向目标上的主要区别。五、综合分析题（每题10分，共20分）1.某电商平台每天产生大量订单日志，现需要实现两个任务：①统计每天的总订单金额；②统计各城市的销售额占比。请设计一个基于Hadoop生态的大数据处理方案，包括数据采集、存储、计算与结果展示的主要流程。2.给定一份销售数据集，包含字段：日期（字符串）、商品类别（字符串）、销售额（浮点型）、库存量（整型）。现要求：(1)分析该数据集可能存在的质量问题；(2)给出数据清洗与预处理的具体步骤；(3)选择合适的机器学习或统计模型预测未来一周销售额并说明理由。参考答案与解析一、单项选择题1.答案：C解析：HDFS（HadoopDistributedFileSystem）是Hadoop的分布式文件存储组件；MapReduce负责计算，YARN负责资源调度，Zookeeper负责协调服务。2.答案：C解析：RDD（ResilientDistributedDataset）是Spark最基础的抽象；DataFrame与DataSet是基于RDD的高级抽象，DStream用于流处理。3.答案：B解析：HBase采用列族存储；Redis为键值存储，MongoDB为文档存储，Neo4j为图存储。4.答案：B解析：shuffle是Map输出到Reduce输入之间对键值对进行分区、排序、合并的过程。5.答案：A解析：标准正态分布定义为μ=0，6.答案：B解析：dropna()删除含缺失值的行或列；fillna()填充缺失值，isnull()判断缺失值，drop()删除指定标签。7.答案：C解析：决策树是典型的监督学习分类算法；K-Means和PCA为无监督，Apriori为关联分析。8.答案：A解析：星形模型是数据仓库中最常用的维度建模方式，中心为事实表，周围为维度表。9.答案：C解析：Hive支持CREATETABLE...ASSELECT将查询结果直接建成新表；INSERTINTO用于向已存在表写入数据。10.答案：B解析：Z-score标准化公式为z=二、多项选择题1.答案：ABCD解析：Hive提供SQL接口，HBase是列式数据库，Spark提供内存计算，Sqoop用于数据导入导出，均广泛应用于Hadoop生态。2.答案：ACD解析：Spark内存计算更适合迭代算法，MapReduce每次需读写磁盘，不适合迭代。3.答案：ABCD4.答案：ABC解析：数据清洗关注数据质量问题，可视化属于结果展示阶段。5.答案：BD解析：HBase不支持SQL，仅提供行级一致性，不保证完整ACID事务。6.答案：ABD解析：线性回归需要标签进行监督学习；K-Means、Apriori、DBSCAN均不需要标签。7.答案：ABC解析：tail查看文件尾部，head查看头部，cat查看全文；printf用于格式化输出，不常用于查看文件。8.答案：ABC解析：Flume采集日志，Kafka用于消息队列传输，Sqoop采集关系型数据库数据；HDFS为存储组件。9.答案：ABD解析：ZooKeeper不用于存储业务数据，它负责元数据协调、选主、配置同步等。10.答案：ABCD三、判断题1.答案：正确2.答案：错误解析：SparkSQL中的操作对象为DataFrame/DataSet，SchemaRDD仅出现在早期实验版本。3.答案：错误4.答案：正确5.答案：错误解析：数据仓库用于OLAP分析，OLTP是操作型数据库的主要承载场景。6.答案：正确7.答案：错误解析：归一化通常指Min-Max缩放到[0,1]，标准化指Z-score变换到均值为0、标准差为1，二者不同。8.答案：正确9.答案：正确10.答案：错误解析：JSON属于半结构化数据，因为它允许嵌套与字段可变。四、简答题1.答案：HDFS采用主从架构，核心组件包括NameNode、DataNode和SecondaryNameNode。NameNode负责文件系统命名空间及元数据管理；DataNode负责实际数据块的存储与读写；SecondaryNameNode定期合并编辑日志，帮助NameNode恢复元数据。2.答案：Standalone模式使用Spark自带的资源调度框架，部署简单，无需额外组件；YARN模式将资源管理交由YARN统一分配，便于与其他Hadoop组件共享集群资源，更适合大规模生产环境。二者在运行Spark应用时均为Master/Worker形式，但资源管理器不同。3.答案：数据标准化是对原始数据进行变换，使其满足特定分布或取值范围，消除量纲与尺度影响。常用方法包括Min-Max归一化（线性映射到[0,1]）以及Z-score标准化（计算为z=4.答案：传统操作型数据库面向业务事务处理，强调增删改查的实时性、高并发和一致性，存储当前业务数据；数据仓库面向分析决策主题，经过集成、清洗和加工，存储历史及汇总数据，主要用于OLAP多维分析。五、综合分析题1.答案：(1)数据采集：使用Flume实时采集Web服务器产生的日志，或使用Sqoop将业务库中的订单表导入HDFS，作为原始数据。(2)数据存储：将采集到的日志和订单数据存入HDFS，并在Hive中按分区表（如按天分区）建立外部表，便于管理。(3)数据处理：使用Hive或SparkSQL编写查询语句，例如统计每日总金额用SELECTdate,SUM(amount)FROMsalesGROUPBYdate；统计各城市销售额占比可用SELECTcity,SUM(amount)/SUM(SUM(amount))OVER()FROMsalesGROUPBYcity。(4)结果展示：将计算结果导出到MySQL，通过Tableau、ECharts等可视化工具或自建Web报表进行展示，实现业务监控与决策支持。2.答案：(1)可能的质量问