2026年大数据工程师职业资格认证考试题库及答案

2026年大数据工程师职业资格认证考试题库及答案一、单项选择题（每题1分，共30分。每题只有一个正确答案，请将正确选项字母填入括号内）1.在Hadoop3.x中，默认的块大小为（）A.32MBB.64MBC.128MBD.256MB答案：C2.SparkSQL中，用于将DataFrame注册为临时视图的API是（）A.createOrReplaceGlobalTempViewB.registerTempTableC.createTempViewD.cacheTable答案：C3.下列关于KafkaPartition的说法正确的是（）A.一个Partition只能被一个ConsumerGroup内的一个Consumer消费B.Partition数量一旦创建不可修改C.Partition内消息全局有序D.Partition副本因子必须等于Broker数答案：C4.在Flink中，OperatorChain的默认开启配置项为（）A.pipeline.operator-chaining=falseB.pipeline.operator-chaining=trueC.execution.enable-chaining=falseD.execution.disable-chaining=true答案：B5.Hive中，ORC文件格式相比TEXTFILE可显著降低存储空间，其压缩比通常可达（）A.1:1B.2:1C.5:1D.10:1答案：D6.使用HBaseRowKey设计时，最应避免的问题是（）A.过长B.散列随机C.顺序递增D.包含业务含义答案：C7.在AWSGlue中，用于定义ETL脚本的语言是（）A.ScalaB.PySparkC.JavaD.SQL答案：B8.下列算法中，属于聚类算法的是（）A.AprioriB.DBSCANC.PageRankD.FP-Growth答案：B9.在DeltaLake中，支持ACID事务的核心机制是（）A.Write-AheadLogB.SnapshotIsolationC.MVCCD.Two-PhaseCommit答案：C10.使用Presto查询Hive表时，提升ORC文件读取性能的最有效方式是（）A.增加SplitSizeB.启用PredicatePushdownC.关闭压缩D.使用TEXTFILE答案：B11.在Spark3.x中，AdaptiveQueryExecution默认（）A.关闭B.开启C.仅对SQL生效D.仅对DataFrameAPI生效答案：B12.下列关于数据湖说法错误的是（）A.支持Schema-on-ReadB.以对象存储为底座C.必须基于HDFSD.可存放原始格式数据答案：C13.在ClickHouse中，最适合做高基数去重的数据结构是（）A.AggregatingMergeTreeB.SummingMergeTreeC.ReplacingMergeTreeD.Set答案：A14.若KafkaProducer配置acks=all，则最低需要副本数为（）A.1B.2C.3D.与副本数无关答案：B15.在TensorFlow2.x中，用于将特征列转化为密集张量的API是（）A.feature_column.numeric_columnB.feature_column.indicator_columnC.feature_column.embedding_columnD.feature_column.dense_column答案：C16.使用Airflow时，任务实例状态为upstream_failed的含义是（）A.自身失败B.上游失败C.被手动标记失败D.重试次数耗尽答案：B17.在PostgreSQL中，实现行级安全的机制是（）A.GRANTB.RLSC.RULED.TRIGGER答案：B18.下列关于数据血缘说法正确的是（）A.只能表级B.无法跨集群C.可细化到字段级D.无需元数据支持答案：C19.在SparkStreaming中，DStream与RDD的关系是（）A.一一对应B.DStream是RDD模板C.DStream由一系列RDD组成D.无关系答案：C20.若某列95%值为NULL，则最适合的Spark数据类型是（）A.StringTypeB.IntegerTypeC.FloatTypeD.无需特殊处理答案：A21.在HDFSFederation中，BlockPool与NameNode的关系是（）A.多对一B.一对多C.一对一D.多对多答案：C22.使用Sqoop导出MySQL数据时，提升并发度的参数是（）A.--num-mappersB.--split-byC.--directD.--export-dir答案：A23.在Elasticsearch中，实现父子文档关联的数据类型是（）A.nestedB.objectC.joinD.parent答案：C24.下列关于数据仓库分层说法正确的是（）A.ODS层存放汇总数据B.DWD层做轻度汇总C.DWS层面向主题D.ADS层存放原始日志答案：C25.在SparkMLlib中，用于评估二分类模型的指标是（）A.SilhouettecoefficientB.F1-scoreC.WSSSED.RMSE答案：B26.若FlinkCheckpoint超时，首先应调整的参数是（）A.checkpointing.modeB.checkpointing.timeoutC.ervalD.state.backend答案：B27.在HadoopYARN中，负责资源隔离的组件是（）A.ResourceManagerB.NodeManagerC.ContainersD.ApplicationMaster答案：C28.使用Scala编写Spark程序时，惰性求值的本质是（）A.立即执行B.遇到Action触发C.遇到Transformation触发D.无需触发答案：B29.在数据治理中，用于定义数据标准的最佳实践是（）A.数据字典B.元模型C.主数据管理D.数据目录答案：A30.若某表每日新增10GB，保留90天，采用Parquet+ZSTD压缩后，预计存储约为（）A.90GBB.180GBC.300GBD.900GB答案：B二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）31.下列属于SparkSQL外部数据源的是（）A.JDBCB.ParquetC.KafkaD.Hive答案：ACD32.关于HBaseCompaction描述正确的是（）A.MinorCompaction会清理过期版本B.MajorCompaction会合并所有StoreFileC.会阻塞写D.可手动触发答案：BD33.在FlinkTableAPI中，支持的时间属性包括（）A.ProcessingTimeB.IngestionTimeC.EventTimeD.Out-of-orderTime答案：ABC34.下列属于数据质量维度的是（）A.准确性B.一致性C.及时性D.可扩展性答案：ABC35.使用Spark进行调优时，可能导致数据倾斜的操作有（）A.groupByKeyB.reduceByKeyC.join大表与小表D.repartition(1)答案：ACD36.在ClickHouse中，MergeTree家族支持的功能有（）A.分区B.副本C.索引D.更新删除答案：ACD37.下列关于数据脱敏说法正确的是（）A.需保持格式B.可逆算法更安全C.需保留统计特性D.需满足合规要求答案：ACD38.在Kafka中，ConsumerRebalance触发条件包括（）A.Consumer加入B.Consumer退出C.Partition增加D.Broker宕机答案：ABC39.使用AirflowPools的目的有（）A.限流B.优先级C.资源隔离D.重试答案：AC40.下列属于NoSQL数据库CAP理论中“可用性”表现的是（）A.读写正常返回B.出现脑裂仍可写C.数据强一致D.节点故障可继续服务答案：ABD三、填空题（每空1分，共20分）41.在Spark中，RDD的五大特征分别为________、________、________、________、________。答案：分区、不可变、可并行、可序列化、可容错42.HDFS默认的副本策略为第1副本放在________节点，第2副本放在________机架，第3副本放在________机架。答案：本地客户端、不同、相同43.Kafka的LeaderPartition选举由________组件负责。答案：Controller44.Flink的Checkpoint屏障由________注入到数据流。答案：JobManager45.Hive中，用于实现行级更新的事务表格式为________。答案：ORCwithACID46.在PostgreSQL中，实现JSONB字段索引最常用的GIN操作符类为________。答案：jsonb_ops47.Elasticsearch默认的打分算法为________。答案：BM2548.ClickHouse中，用于实时物化更新的引擎为________。答案：AggregatingMergeTree49.数据治理框架DAMA-DMBOK将数据管理分为________大知识领域。答案：1150.在PythonPandas中，用于将分类变量转化为数值的函数为________。答案：pd.get_dummies四、简答题（共30分）51.（封闭型，6分）简述Spark广播变量的实现原理及使用场景。答案：广播变量通过TorrentBroadcast将数据序列化后切分成块，存储于BlockManager，Executor按需拉取，避免多次网络传输；适用于小表广播join、字典过滤等场景，减少shuffle。52.（开放型，8分）请给出一次Kafka消息堆积故障的完整排查与解决流程。答案：1)监控：观察ConsumerLag指标，确认堆积Partition；2)定位：检查ConsumerGroup日志，确认是否有Rebalance频繁；3)分析：使用kafka-consumer-groups.sh查看Offset提交速度，定位慢Consumer；4)临时：增加Consumer实例，提升并行度；5)根本：优化下游处理逻辑，批量提交，调整fetch.min.bytes与max.poll.records；6)预防：设置告警阈值，预留扩容机制，采用分区分桶策略。53.（封闭型，6分）列举三种解决FlinkCheckpoint超时的调优手段并说明原理。答案：1)增大checkpointing.timeout，延长容忍时间；2)降低erval，减少单次状态量；3)使用增量CheckpointRocksDBStateBackend，仅上传差异，降低数据量。54.（开放型，10分）某电商公司ODS层订单表每日增量2亿条，字段150个，需构建DWS层当日成交主题宽表，请给出技术选型、ETL流程、调度策略及性能保障措施。答案：技术选型：DeltaLake+Spark3.4，列式存储ZSTD压缩；ETL流程：1)增量抽取：使用Spark读取DeltaChangeDataFeed，过滤dt=$today；2)关联维表：广播维表，缓存到内存；3)聚合：按user_id、sku_id汇总成交金额、件数；4)写入：覆盖DWS层分区partition(dt=$today)；调度：Airflow每日01:00启动，依赖ODS完成信号；性能：动态分区裁剪+AQE，Executor4核16G×200，并行度800，Checkpoint30s，耗时25min；监控：GreatExpectations数据质量，Lag>10min告警。五、应用题（共50分）55.（计算类，15分）某视频APP日活1000万，平均每人上传3条短视频，每条视频元数据2KB，存储采用Parquet+ZSTD压缩比8:1，副本数2，请计算：1)每日原始数据量；2)压缩后单副本存储；3)双副本实际占用；4)若保存365天，总存储量；5)若采用ErasureCodingRS-6-3替代副本，存储节省比例。答案：1)1000万×3×2KB=60GB；2)60GB÷8=7.5GB；3)7.5GB×2=15GB；4)15GB×365=5475GB≈5.35TB；5)RS-6-3冗余度1.5，节省=(2−1.5)/2=25%。56.（分析类，15分）给定用户行为表user_id,event_time,event_type,page_id，需计算近30日每日留存率（次日、7日、30日）。请写出SparkSQL完整脚本并说明性能优化点。答案：```sqlWITHbaseAS(SELECTuser_id,DATE(event_time)ASdt,MIN(DATE(event_time))OVER(PARTITIONBYuser_id)ASfirst_dtFROMuser_logWHEREdtBETWEENCURRENT_DATE-30ANDCURRENT_DATE-1),tmpAS(SELECTdt,first_dt,DATEDIFF(dt,first_dt)ASgapFROMbase)SELECTdt,SUM(IF(gap=1,1,0))1.0/COUNT(DISTINCTIF(gap=0,user_id,NULL))ASretention_1,SUM(IF(gap=1,1,0))1.0/COUNT(DISTINCTIF(gap=0,user_id,NULL))ASretention_1,SUM(IF(gap=7,1,0))1.0/COUNT(DISTINCTIF(gap=0,user_id,NULL))ASretention_7,SUM(IF(gap=7,1,0))1.0/COUNT(DISTINCTIF(gap=0,user_id,NULL))ASretention_7,SUM(IF(gap=30,1,0))1.0/COUNT(DISTINCTIF(gap=0,user_id,NULL))ASretention_30SUM(IF(gap=30,1,0))1.0/COUNT(DISTI