2026年大数据工程技术人员职业技能鉴定试题与答案

2026年大数据工程技术人员职业技能鉴定试题与答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项的字母填在括号内）1.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFS  B.YARN  C.MapReduce  D.Hive答案：B2.下列关于KafkaPartition的描述，正确的是（）A.一个Topic只能有一个PartitionB.Partition数量一旦创建不可修改C.同一Partition内消息保证顺序D.ConsumerGroup内每个Consumer必须订阅不同Topic答案：C3.SparkRDD的缓存级别默认是（）A.MEMORY_ONLY  B.MEMORY_AND_DISK  C.DISK_ONLY  D.OFF_HEAP答案：A4.在Flink中，用于实现Exactly-Once语义的核心机制是（）A.Checkpoint  B.Window  C.Slot  D.OperatorChain答案：A5.下列SQL中，能够返回每个用户首次登录时间的是（）A.SELECTuser_id,MIN(login_time)FROMlogGROUPBYuser_idB.SELECTuser_id,MAX(login_time)FROMlogGROUPBYuser_idC.SELECTuser_id,FIRST(login_time)FROMlogGROUPBYuser_idD.SELECTuser_id,login_timeFROMlogORDERBYlogin_timeLIMIT1答案：A6.HDFS默认块大小为128MB，若文件大小为150MB，则实际占用块数为（）A.1  B.2  C.3  D.4答案：B7.在数据仓库分层中，DWD层的主要作用是（）A.原始数据存储  B.明细数据清洗与规范化  C.维度建模  D.面向应用汇总答案：B8.下列算法中，属于聚类算法的是（）A.Apriori  B.K-Means  C.PageRank  D.FP-Growth答案：B9.使用Scala编写Spark程序时，下列哪段代码能正确创建DataFrame（）A.spark.read.json("hdfs://path/file.json")B.spark.jsonFile("hdfs://path/file.json")C.sqlContext.jsonRDD("hdfs://path/file.json")D.newDataFrame("hdfs://path/file.json")答案：A10.在Hive中，分桶表的关键字是（）A.PARTITIONEDBY  B.CLUSTEREDBY  C.SORTEDBY  D.DISTRIBUTEBY答案：B11.下列关于数据倾斜的描述，错误的是（）A.表现为个别Task处理时间远大于其他TaskB.可通过加盐方式缓解C.必然导致内存溢出D.可通过两阶段聚合优化答案：C12.在Elasticsearch中，用于全文检索的核心字段类型是（）A.keyword  B.text  C.integer  D.date答案：B13.若MySQL表user主键为自增ID，现需同步到HDFS并保持增量更新，最佳工具是（）A.Sqoop全量导入  B.Sqoop增量导入  C.Flume  D.DataX答案：B14.下列关于数据血缘的说法，正确的是（）A.仅记录表级依赖  B.可用于影响分析  C.无法捕获SQL脚本中的依赖  D.不需要元数据支持答案：B15.在Python中，使用pandas读取10GBCSV文件时，最佳实践是（）A.pd.read_csv("file.csv")B.pd.read_csv("file.csv",dtype=str)C.pd.read_csv("file.csv",chunksize=10**6)C.pd.read_csv("file.csv",chunksize=10**6)D.pd.read_table("file.csv")答案：C16.下列关于Airflow的说法，错误的是（）A.基于DAG调度  B.支持依赖管理  C.Task必须同一时刻运行  D.支持重试策略答案：C17.在HBase中，用于实现列族压缩的参数是（）A.COMPRESSION  B.TTL  C.VERSIONS  D.BLOCKSIZE答案：A18.下列关于数据湖的说法，正确的是（）A.仅支持结构化数据  B.schema-on-read模式  C.不支持ACID事务  D.不能部署在云端答案：B19.若Flink作业并行度为8，Slot总数为16，则最大TaskManager数为（）A.1  B.2  C.8  D.16答案：B20.在数据质量评估指标中，用于衡量“数据是否被重复记录”的指标是（）A.完整性  B.一致性  C.唯一性  D.及时性答案：C二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，请将所有正确选项的字母填在括号内，漏选、错选均不得分）21.下列属于NoSQL数据库的有（）A.MongoDB  B.Redis  C.HBase  D.Oracle答案：ABC22.关于SparkShuffle，下列说法正确的有（）A.一定落盘  B.可通过broadcastjoin避免  C.可能引发数据倾斜  D.默认使用sort-basedshuffle答案：BCD23.下列哪些操作会导致Flink作业状态变大（）A.增大窗口大小  B.使用ListState  C.开启增量Checkpoint  D.使用RockDBStateBackend答案：AB24.在Hive中，可用于实现行级转换的UDF类型有（）A.UDF  B.UDAF  C.UDTF  D.GenericUDF答案：ACD25.下列关于数据治理的说法，正确的有（）A.包括元数据管理  B.需要制定数据标准  C.与数据安全无关  D.包含数据生命周期管理答案：ABD26.下列属于特征选择方法的有（）A.卡方检验  B.互信息  C.L1正则  D.PCA答案：ABC27.下列关于KafkaConsumerGroupRebalance的描述，正确的有（）A.触发条件包括Consumer加入或退出  B.会导致消费暂停  C.可通过cooperative协议减少影响  D.Partition数量变化不会触发答案：ABC28.下列属于时序数据库的有（）A.InfluxDB  B.OpenTSDB  C.TimescaleDB  D.Cassandra答案：ABC29.下列关于数据脱敏的说法，正确的有（）A.掩码属于脱敏技术  B.加密不属于脱敏  C.需保持数据一致性  D.可用于非生产环境答案：ACD30.下列哪些指标可用于评估分类模型（）A.AUC-ROC  B.F1-score  C.MAE  D.LogLoss答案：ABD三、填空题（每空2分，共20分）31.在HDFS中，NameNode的元数据持久化文件包括________和________。答案：fsimage，edits32.Spark任务提交命令中，指定主类的参数是________。答案：--class33.Flink中，窗口Assigner将元素分配到窗口后，触发计算需满足________和________两个条件。答案：Watermark≥窗口结束时间，触发器返回FIRE34.Kafka的LeaderPartition副本故障时，负责重新选举Leader的控制器组件是________。答案：KafkaController35.在Hive中，设置动态分区模式为非严格模式的参数是________。答案：sethive.exec.dynamic.partition.mode=nonstrict36.使用pandas进行数据合并时，实现SQL中左连接的方法名是________。答案：merge(how='left')37.Elasticsearch默认集群名称是________。答案：elasticsearch38.在数据仓库中，缓慢变化维类型2通过新增________来保留历史。答案：行记录39.HBase中，用于查看表结构的shell命令是________。答案：describe40.在Python中，使用________库可实现分布式训练深度学习模型。答案：horovod四、简答题（每题10分，共30分）41.简述MapReduce与Spark在内存使用上的差异，并说明Spark如何通过RDDlineage实现容错。答案：MapReduce以磁盘为中心，每个阶段结果落盘，内存仅用作排序缓冲区；Spark以内存为中心，优先将RDD缓存到内存，通过DAG记录lineage，当分区丢失时，从上游重新计算即可，无需整体重跑，实现高效容错。42.描述Flink的Checkpoint机制流程，并说明如何配置Exactly-Once语义。答案：流程：1.JobManager定期触发Checkpoint；2.TaskManager将状态快照写入分布式存储；3.所有Task完成并确认后，JobManager记录完成标记。配置：启用Checkpointing，设置Checkpoint模式为EXACTLY_ONCE，使用支持事务的Sink（如TwoPhaseCommitSinkFunction），并确保Source可重放。43.说明数据倾斜的常见原因及三种以上优化方案。答案：原因：Key分布不均、热点Key、聚合维度过少。优化：1.加盐打散Key，两阶段聚合；2.使用随机前缀扩容表后再join；3.过滤倾斜Key单独处理；4.调整并行度或自定义Partitioner；5.启用Map-sidejoin或broadcastjoin。五、应用题（共60分）44.计算题（15分）某电商公司日活1000万，用户平均下单2次/日，订单表字段约50列，平均行大小1KB。请估算：（1）每日订单原始数据量（GB）；（2）若采用ORC压缩比8:1，存储3副本，计算HDFS所需空间；（3）若保留180天，总空间多少TB？答案：（1）1000万×2×1KB=20GB；（2）20GB/8×3=7.5GB；（3）7.5GB×180=1350GB≈1.32TB。45.分析题（15分）给定用户行为表user_action(user_idSTRING,actionSTRING,tsTIMESTAMP)，需统计每日新增用户。请：（1）写出SQL逻辑；（2）说明若数据量10亿行，如何优化性能；（3）给出数据质量校验SQL，检查是否存在user_id为NULL。答案：（1）SELECTdt,COUNT()ASnew_usersSELECTdt,COUNT()ASnew_usersFROM(SELECTuser_id,MIN(DATE(ts))ASdtFROMuser_actionGROUPBYuser_id)tGROUPBYdt;（2）分区按dt，桶按user_id，开启mapjoin，使用Tez引擎；（3）SELECTCOUNT()FROMuser_actionWHEREuser_idISNULL;SELECTCOUNT()FROMuser_actionWHEREuser_idISNULL;46.综合题（30分）某公司拟构建实时数仓，数据源包括MySQL业务库、App日志、Nginx日志，要求：（1）画出端到端架构图（文字描述即可）；（2）列出技术选型及理由；（3）给出MySQL到Kafka的增量同步方案，要求无锁、延迟<1s；（4）说明如何保证App日志端到端Exactly-Once。答案：（1）MySQL→Debezium→Kafka→Flink→Kafka→ClickHouse；App日志→Flume→Kafka→Flink→Kafka→ClickHouse；Nginx日志→Filebeat→Kafka→Flink→Kafka→ClickHouse；Superset对接ClickHouse提供BI。（2）Kafka：高吞吐缓冲；Flink：低延迟计算