2025年大数据工程师国家职业资格考试试题及答案解析

2025年大数据工程师国家职业资格考试试题及答案解析一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Hadoop2.x版本中，ResourceManager的主要职责是（）。A.管理HDFS元数据B.调度MapReduce任务C.管理整个集群的计算资源D.监控DataNode心跳答案：C解析：ResourceManager负责整个YARN集群的资源调度与分配，与ApplicationMaster协作完成作业生命周期管理。2.下列关于KafkaPartition的描述，错误的是（）。A.同一Topic的不同Partition可分布在不同BrokerB.Partition内消息严格有序C.ConsumerGroup内每个Consumer可并行消费同一PartitionD.Partition数量可在Topic创建后动态增加答案：C解析：Kafka保证同一Partition内消息顺序，但同一Partition只能被ConsumerGroup内一个Consumer实例消费，无法并行。3.SparkRDD的cache()与persist(StorageLevel.MEMORY_ONLY)的区别是（）。A.无区别，语义完全一致B.cache()使用磁盘，persist使用内存C.cache()默认序列化，persist不序列化D.cache()只能缓存到内存，persist可指定多级存储答案：A解析：cache()是persist(StorageLevel.MEMORY_ONLY)的简写，二者语义完全一致。4.在Flink中，Checkpoint屏障（Barrier）在数据流图中的作用是（）。A.标记数据结束B.触发算子快照C.控制并发度D.实现反压答案：B解析：Barrier随数据流注入，当算子收到Barrier即触发状态快照，保证ExactlyOnce语义。5.Hive中下列哪种文件格式支持行级索引（）。A.TextFileB.SequenceFileC.ORCD.LZO答案：C解析：ORC内置行组索引、布隆过滤器，支持行级快速定位。6.使用HBaseRowKey设计时，为了避免热点，最佳实践是（）。A.使用时间戳作为RowKey前缀B.使用哈希或反转策略将连续主键离散化C.使用字典序递增UUIDD.将Region大小设为1GB答案：B解析：哈希前缀或反转可将连续写入分散到多个Region，避免单Region热点。7.在数据仓库分层模型中，DWD层的主要职责是（）。A.保存原始日志B.保存明细事实，完成清洗转换C.保存汇总指标D.保存维度退化结果答案：B解析：DWD（DataWarehouseDetail）对ODS层做清洗、规范化，保留最细粒度事实。8.下列关于数据倾斜的优化策略，适用于MapReduce的是（）。A.两阶段聚合（Combiner）B.使用随机前缀扩容KeyC.提高Reduce内存D.启用推测执行答案：B解析：随机前缀可将热点Key拆分为多Key，分散到不同Reduce，缓解倾斜。9.在Pythonpandas中，执行merge(df1,df2,how='outer',indicator=True)后，_merge列取值为"both"表示（）。A.只在df1出现B.只在df2出现C.在df1与df2均出现D.连接键为空答案：C解析：indicator=True新增_merge列，"both"表示连接键在左右两侧均存在。10.使用Airflow调度时，若任务T1设置depends_on_past=True，则（）。A.同一DAG内前一次T1实例必须成功，本次才能调度B.同一Task任意历史实例失败即阻塞C.仅依赖上游TaskD.与start_date无关答案：A解析：depends_on_past=True表示同一Task上一次执行必须成功，才允许下一次调度。11.在Elasticsearch中，设置number_of_shards=5且number_of_replicas=1，则集群实际存储的分片总数为（）。A.5B.10C.15D.20答案：B解析：5个主分片，每个主分片1个副本，共5×2=10个分片。12.数据湖架构强调（）。A.先建模后入湖B.先入湖后建模C.仅支持结构化数据D.仅支持实时流答案：B解析：数据湖先原始存储，后续按需建模，支持结构化、半结构化、非结构化。13.在SparkSQL中，下列函数用于将数组展开为多行的是（）。A.collect_listB.explodeC.splitD.array_contains答案：B解析：explode将数组每个元素转为单独行。14.若MySQL表order使用InnoDB，执行SELECTCOUNT()FROMorder;时，InnoDB需要（）。A.直接读取元数据B.全表扫描C.走二级索引D.走主键索引答案：B解析：InnoDB无单独行计数器，需全表扫描统计行数。15.在数据治理元数据中，描述"字段业务含义"属于（）。A.技术元数据B.操作元数据C.业务元数据D.管理元数据答案：C解析：业务元数据面向业务用户，解释字段含义、口径、维度等。16.使用Scala编写SparkStreaming，设置batchduration为10秒，则每批次生成（）。A.一个RDDB.一个DataFrameC.一个DStreamD.一个Partition答案：A解析：每批次对应一个时间间隔内收集的数据，封装为一个RDD。17.在数据质量维度中，"同一客户在不同系统生日不一致"违反（）。A.完整性B.一致性C.唯一性D.及时性答案：B解析：跨系统数据不一致，属于一致性维度问题。18.下列关于Zookeeper的ZNode，描述正确的是（）。A.每个ZNode可存储最大1MB数据B.临时节点可拥有子节点C.序列节点名仅含数字D.监听机制可监控子节点变化答案：D解析：Zookeeper支持在父ZNode注册Watcher，监听子节点增删事件。19.在数据安全分级中，"用户身份证明文"通常属于（）。A.公开级B.内部级C.秘密级D.机密级答案：D解析：身份证明文属于高敏感信息，需加密存储，列为机密级。20.使用RedisCluster时，若某个Master节点故障，其Slave节点（）。A.立即成为新MasterB.需人工执行clusterfailoverC.自动被集群选举为MasterD.数据丢失答案：C解析：RedisCluster内置故障转移，Slave通过Gossip+投票自动升主。二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，请将所有正确选项字母填入括号内，漏选、错选均不得分）21.下列属于HDFS高可用（HA）机制核心组件的有（）。A.JournalNodeB.ZKFCC.NameNodeActiveD.ResourceManager答案：A、B、C解析：JournalNode共享编辑日志，ZKFC控制NameNode主备切换，ResourceManager属于YARN，非HDFSHA组件。22.关于SparkShuffle，以下说法正确的有（）。A.SortShuffleWriter会产生中间文件B.HashShuffleWriter在小分区数下效率更高C.ShuffleRead阶段存在聚合缓冲区D.Spark3.0默认使用TungstenSortShuffle答案：A、C、D解析：HashShuffleWriter已废弃，SortShuffleWriter产生data文件与index文件，ShuffleRead使用ExternalAppendOnlyMap聚合，Tungsten优化默认开启。23.下列属于数据血缘分析自动采集手段的有（）。A.SQL解析B.日志埋点C.API钩子D.人工填报答案：A、B、C解析：人工填报属于半自动，SQL解析、日志、钩子可自动捕获血缘。24.在Kafka0.10之后，ConsumerOffset可保存在（）。A.ZookeeperB.Kafka内部Topic__consumer_offsetsC.外部数据库D.HDFS答案：A、B、C解析：默认保存到__consumer_offsets，也可自定义存储到DB，Zookeeper方式已废弃但仍兼容。25.下列属于FlinkTimeCharacteristics的有（）。A.ProcessingTimeB.IngestionTimeC.EventTimeD.WindowTime答案：A、B、C解析：Flink提供三种时间语义，WindowTime不属于TimeCharacteristics。26.关于数据脱敏技术，可逆算法包括（）。A.AES加密B.哈希加盐C.令牌化D.对称加密答案：A、C、D解析：哈希为单向不可逆，令牌化与对称加密可逆。27.在Hive中，可用于解决小文件问题的有（）。A.启用CombineHiveInputFormatB.使用ORC+定期执行concatenateC.动态分区插入D.设置hive.merge.mapfiles=true答案：A、B、D解析：动态分区插入反而易产生小文件，其余三项可合并小文件。28.下列属于NoSQL数据库CAP理论中"CP"系统的有（）。A.HBaseB.MongoDB（默认写关注majority）C.Cassandra（QUORUM读写）D.RedisCluster答案：A、B解析：Cassandra可调为AP，RedisCluster为AP，HBase、MongoDB默认CP。29.在数据资产目录中，必须包含的元数据有（）。A.业务定义B.责任人C.存储大小D.更新频率答案：A、B、D解析：存储大小为技术属性，非必须，业务定义、责任人、更新频率为管理核心。30.使用SparkMLlib训练GBDT时，可调超参数包括（）。A.maxDepthB.maxIterC.stepSizeD.numTrees答案：A、B、C解析：GBDT为迭代树模型，numTrees为RandomForest参数，GBDT对应maxIter。三、填空题（每空2分，共20分。请在横线处填入最恰当的内容）31.在Hadoop中，默认块大小为128MB，若文件大小为600MB，则占用________个块。答案：5解析：600÷128=4.6875，向上取整5块。32.Spark任务提交参数executorcores=4，totalexecutorcores=36，则最多可启动________个Executor。答案：9解析：36÷4=9。33.FlinkCheckpoint保存点目录由配置项________指定。答案：state.checkpoints.dir解析：该参数控制Checkpoint持久化路径。34.在MySQL8.0中，支持原子的DDL，其依赖的________文件记录重做日志。答案：ib_logfile解析：InnoDB重做日志文件为ib_logfile0、ib_logfile1。35.KafkaProducer配置acks=all表示________。答案：Leader等待所有ISR副本确认才返回成功解析：保证最强持久性。36.数据仓库缓慢变化维类型2通过________字段标识历史与当前记录。答案：生效日期、失效日期（或版本号）解析：类型2新增行并维护时间区间或版本。37.Elasticsearch集群健康状态yellow表示________。答：所有主分片可用，部分副本分片未分配解析：yellow非故障，但存在风险。38.在Linux中，查看磁盘I/O使用率的命令为________。答案：iostatx1解析：iostat可显示设备利用率%util。39.使用Scala语言，SparkDataFrame列col类型为Array[String]，将其元素拼接为逗号分隔字符串的函数为________。答案：concat_ws(",",col)解析：concat_ws用于数组转字符串。40.数据安全法规定，处理个人信息应取得________同意。答案：个人解析：遵循"告知同意"原则。四、简答题（共30分）41.（封闭型，6分）简述MapReduce中Combiner与Reducer的区别。答案：1.运行位置：Combiner在Map端本地执行，Reducer在Reduce端执行。2.调用次数：Combiner可能调用0或多次，Reducer仅调用一次。3.输入数据：Combiner输入为Map输出，Reducer输入为Shuffle后排序合并结果。4.输出目的：Combiner输出仍写入本地磁盘，作为中间结果；Reducer输出为最终结果。5.语义约束：Combiner需满足结合律与交换律，Reducer无此限制。解析：Combiner为优化网络IO的可选组件，不能改变最终逻辑。42.（开放型，8分）某电商公司订单表每日新增5亿条记录，需支持按用户ID、商品ID、时间区间多条件查询，请设计HBaseRowKey并说明理由，同时给出预分区方案。答案：RowKey设计：反转用户ID（8位）+商品ID（8位）+（Long.MAX_VALUE秒级时间戳）理由：1.反转用户ID避免热点，字典序分散。2.商品ID加入实现多条件前缀组合查询。3.时间戳倒排使最新数据排在前面，符合查询习惯。预分区：按反转用户ID首字符0f共16进制划分16个Region，Region区间["0","1")、["1","2")…["f","g")，后续可基于数据量再分裂。解析：反转+哈希前缀均有效，需权衡查询模式；倒排时间戳可快速扫最新数据。43.（封闭型，6分）列举SparkSQL实现数据倾斜自动处理的两种内置优化，并简述原理。答案：1.AdaptiveQueryExecution（AQE）自动倾斜处理：运行时统计各分区大小，若某分区数据量超过阈值且远大于中位数，自动拆分该分区为多个Reduce任务，避免单Task耗时过长。2.SkewJoin优化：AQE检测到Join存在倾斜Key，自动将热点Key对应数据复制到多个节点，进行广播或局部HashJoin，将倾斜Join转为MapJoin，消除长尾Task。解析：AQE需spark.sql.adaptive.enabled=true，Spark3.0+默认开启。44.（开放型，10分）某实时风控系统需基于用户近30分钟行为统计指标（登录次数、支付金额、IP变更次数），延迟<1分钟，请给出技术选型、架构图文字描述及ExactlyOnce实现要点。答案：技术选型：Flink+Kafka+Redis+MySQL架构：1.行为日志→KafkaTopicuser_behavior（3分区，副本2）。2.FlinkSource消费Kafka，设置StartFromGroupOffsets，Checkpoint30s。3.在Flink中定义EventTime，watermark=当前最大事件时间5s。4.使用30分钟滚动窗口，聚合计算登录次数、支付金额、IP变更次数，窗口结果存入RedisHash（Key=user_id，Field=window_end，Value=JSON指标）。5.异步IO将结果批量写入MySQL报表表，供风控引擎查询。ExactlyOnce要点：a.FlinkCheckpoint保存KafkaOffset与窗口状态到HDFS（enableCheckpointing,exactlyoncemode）。b.Redis使用幂等写入：HINCRBY改为SETEX覆盖，窗口结果含版本号。c.MySQL采用幂等主键（user_id+window_end），ONDUPLICATEKEYUPDATE。d.KafkaProducer端开启幂等+事务，Flink两阶段提交确保Offset与外部存储原子性。解析：端到端ExactlyOnce需Source、计算、Sink全链路幂等或事务，Flink两阶段提交为成熟方案。五、应用题（共60分）45.（计算类，15分）某Spark任务读取HDFS上Parquet文件2TB，压缩率3:1，集群每个Executor4核8GB，内存占比0.6用于RDD缓存，并行度设为200。估算：（1）HDFS实际读取数据量；（2）Executor内存可缓存数据量；（3）若每个Task处理128MB，需多少个Task；（4）最少需启动多少个Executor才能满足并行度。答案：（1）压缩后大小=2TB÷3≈682GB（2）每Executor缓存=8GB×0.6=4.8GB，总缓存量无上限，但单Executor最大4.8GB（3）Task数=682GB÷128MB≈5456个（4）并行度200，每个Executor4核，可并发4Task，故最少Executor=ceil(200÷4)=50解析：压缩率影响磁盘IO与网络，内存缓存需考虑序列化系数，通常按2×内存估算安全值。46.（分析类，15分）给定用户行为表user_log（user_id,event_time,event_type,ip），数据量100亿行，存储于Hive分区表（dtstring），现需找出近7天每日新增用户（首次出现视为新增）。请写出高效SQL并说明优化思路。答案：SQL：withfirst_loginas(selectuser_id,min(event_time)asfirst_timefromuser_logwheredtbetween'20250601'and'20250607'groupbyuser_id)selectdate(first_time)asdt,count()asnew_usersfromfirst_logingroupbydate(first_time);优化思路：1.分区裁剪：wheredt限定7天，减少全表扫描。2.列式存储+ORC：只读取user_id、event_time列，降低IO。3.桶/排序：若user_log按user_id分桶且排序，min(event_time)可快速获得。4.Map端聚合：开启hive.map.aggr=true，减少Shuffle。5.并行度：setmapreduce.job.reduces=7，与日期数匹配。解析：首次计算需全局去重，若数据量极大，可预计算每日用户集合，次日增量合并。47.（综合类，30分）某市政府建设城市大脑，需整合交通、公安、气象、互联网等数据，构建统一数据湖。请完成：（1）设计数据湖分层模型（命名、作用、存储格式、保留周期）；（2）给出数据接入方案（批量、实时、增量识别）；（3）制定数据质量监控指标体系（至少5项指标），并说明如何自动告警；（4）说明跨域敏感数据共享的安全控制措施；（5）画出逻辑架构图（文字描述即可）。答案：（1）分层模型：ODS（OperationalDataStore）作用：原始镜像，保持业务系统原貌格式：Avro、CSV、原始JSON保留：3个月，icebergtimetravelDWD（DataWarehouseDetail）作用：清洗、标准化、统一编码格式：ORC+zlib保留：1年DWS（DataWarehouseSummary）作用：按主题轻度汇总，如分钟级车流量格式：Parquet+s