2026年大数据技术与应用职业技能考试试卷及答案

2026年大数据技术与应用职业技能考试试卷及答案1.单项选择题（每题1分，共20分）1.1在HDFS中，默认一个数据块（Block）的大小为A.32MB  B.64MB  C.128MB  D.256MB答案：C1.2SparkCore中RDD的lineage信息主要用于A.数据压缩  B.任务调度  C.容错恢复  D.内存回收答案：C1.3下列关于KafkaPartition的说法正确的是A.一个Topic只能有一个PartitionB.Partition数量一旦创建不可修改C.同一Partition内消息保证有序D.ConsumerGroup中每个Consumer必订阅不同Topic答案：C1.4在Flink的时间语义中，EventTime是指A.数据进入Flink系统的时间B.数据被处理算子处理的时间C.事件在源端实际发生的时间D.检查点刷入磁盘的时间答案：C1.5使用Hive进行查询时，开启向量化查询执行需设置的参数为A.hive.vectorized.execution.enabled=trueB.hive.cbo.enable=trueC.hive.exec.parallel=trueD.hive.optimize.index.filter=true答案：A1.6在HBase中，用于实现Region自动分裂的策略接口是A.SplitPolicy  B.CompactionPolicy  C.LoadBalancer  D.RegionLocator答案：A1.7下列哪种格式最适合存储嵌套式列式数据并支持向量化读取A.CSV  B.JSON  C.Avro  D.Parquet答案：D1.8在YARN容量调度器中，关于队列资源的说法正确的是A.子队列资源总和可超过父队列上限B.队列最小资源不能保证C.队列最大资源可动态调整D.队列间资源不可共享答案：C1.9使用Scala编写Spark程序时，下列代码段的作用是valdf=spark.read.parquet("hdfs://path")df.createOrReplaceTempView("t")A.将Parquet文件注册为永久表B.将Parquet文件加载为RDDC.将DataFrame注册为临时视图D.将DataFrame缓存至磁盘答案：C1.10在数据湖架构中，DeltaLake的TimeTravel功能依赖A.WAL日志  B.Snapshot隔离  C.版本化的Parquet文件+事务日志  D.Checkpoint镜像答案：C1.11下列关于ClickHouseMergeTree引擎的说法错误的是A.支持主键索引  B.支持数据分区  C.支持更新删除  D.支持事务回滚答案：D1.12在Pythonpandas中，将DataFrame列类型转换为category可以A.减少内存占用并提升分组性能B.自动建立索引C.触发惰性求值D.实现分布式计算答案：A1.13使用Airflow时，Sensor算子的poke模式指A.持续占用worker等待条件B.定期轮询条件并在满足时退出C.条件满足后重启DAGD.将条件写入元数据库答案：B1.14在Elasticsearch中，实现父子文档关联的字段类型为A.nested  B.object  C.join  D.geo_point答案：C1.15下列关于数据倾斜优化的描述，正确的是A.增加Executor内存总能解决倾斜B.两阶段聚合（局部聚合+全局聚合）可缓解Reduce端倾斜C.将join键改为随机前缀会增加网络IO但无助于倾斜D.使用map-sidejoin一定避免倾斜答案：B1.16在PostgreSQL中，对JSONB字段创建GIN索引后，下列操作受益最大的是A.等值查询  B.范围查询  C.全文检索  D.键存在性查询答案：D1.17使用Hadoopdistcp跨集群复制数据时，若要保留原始权限需添加参数A.-update  B.-skipcrccheck  C.-p  D.-m答案：C1.18在PromQL中，表达式http_requests_total{job="api"}[5m]表示A.过去5分钟瞬时样本值B.过去5分钟所有时间序列矩阵C.过去5分钟平均增长率D.过去5分钟每秒增量答案：B1.19下列关于Zookeeper的ZAB协议说法正确的是A.所有节点均可提交事务B.采用Paxos算法实现选举C.崩溃恢复阶段需确保已提交事务不被丢弃D.Observer节点参与投票答案：C1.20在数据治理元模型中，属于“技术元数据”的是A.业务术语表  B.数据标准  C.表字段血缘  D.KPI定义答案：C2.多项选择题（每题2分，共20分；每题至少有两个正确答案，多选少选均不得分）2.1下列属于FlinkCheckpoint组成部分的有A.数据源偏移量  B.算子状态快照  C.作业DAG拓扑  D.数据Sink偏移量答案：AB2.2使用SparkSQL时，以下操作会触发Shuffle的有A.groupByKey().mapGroups()B.repartition(200)C.sortByKey()D.filter($"age">18)答案：ABC2.3关于HDFSFederation，正确的有A.多个NameNode共享同一DataNode存储B.每个NameNode管理独立的命名空间C.通过客户端挂载表实现统一访问D.需要Zookeeper实现NN主备答案：ABC2.4在Kafka中，Producer实现幂等性需满足A.enable.idempotence=trueB.acks=allC.retries>0D.max.in.flight.requests.per.connection≤5答案：ABCD2.5下列属于数据质量维度指标的有A.唯一性  B.及时性  C.可理解性  D.一致性答案：ABD2.6使用HiveLLAP时，以下组件常驻内存的有A.LLAPDaemon  B.TezAM  C.HiveServer2  D.NodeManager答案：A2.7在ClickHouse中，适合高并发小查询的表引擎有A.MergeTree  B.SummingMergeTree  C.Distributed  D.Buffer答案：CD2.8下列关于数据湖House范式描述正确的有A.支持ACID事务  B.存储层与计算层耦合  C.通过元数据层实现Schema演进  D.依赖对象存储答案：ACD2.9在Pythonsklearn中，用于防止过拟合的正则化方法有A.L1正则  B.L2正则  C.Dropout  D.EarlyStopping答案：AB2.10使用Grafana展示Elasticsearch数据时，可支持的聚合类型有A.Terms  B.DateHistogram  C.GeoHashGrid  D.MovingAverage答案：ABCD3.填空题（每空2分，共20分）3.1在Spark中，通过________接口将自定义函数注册为SQL函数，实现行列转换。答案：UDF3.2HBase中，用于定位Region的元数据表名称为________。答案：hbase:meta3.3KafkaConsumer提交偏移量的两种模式为________和________。答案：自动提交；手动提交3.4FlinkCEP库中，模式序列“next”与“followedBy”的区别在于是否允许________。答案：中间插入其他事件3.5在PostgreSQL中，将表按时间字段进行分区，通常采用________分区方式。答案：范围（Range）3.6Elasticsearch集群中负责管理索引元数据及分片分配的节点角色称为________节点。答案：Master3.7使用HadoopMapReduce时，默认对Map输出进行________排序以保证Reduce端有序输入。答案：二次（Shuffle&Sort）3.8在数据仓库分层模型中，DWD层的中文含义是________。答案：明细数据层3.9在Prometheus中，用于记录瞬时向量值的指标类型为________。答案：Gauge3.10数据血缘解析时，常用的SQL解析器开源库为________。答案：ApacheCalcite4.简答题（每题8分，共40分）4.1简述Spark3.0AdaptiveQueryExecution（AQE）的三大核心优化点，并说明其触发条件。答案：（1）动态合并分区：在ShuffleReduce阶段根据目标分区大小自动合并小分区，触发条件为spark.sql.adaptive.coalescePartitions.enabled=true且Map阶段完成后采集统计信息。（2）动态切换Join策略：运行时根据实际数据量将SortMergeJoin转换为BroadcastHashJoin，触发条件为某侧Shuffle后大小低于广播阈值。（3）动态优化倾斜Join：检测到某分区数据量远超平均值时，自动拆分该分区并采用随机前缀扩容方式重新Join，触发条件为spark.sql.adaptive.skewJoin.enabled=true且倾斜因子、阈值达标。4.2说明HDFS写数据流程中Packet队列与ACK队列的作用，并指出数据节点故障时的处理步骤。答案：Packet队列：客户端按64KBPacket单位缓存待发送数据，实现流水线并发写入。ACK队列：保存已发送但未收到ACK的Packet，用于失败重传。数据节点故障处理：①客户端检测到某DN无ACK超时；②通知NameNode移除该DN；③NameNode分配新DN；④客户端将ACK队列中未完成Packet重新加入发送队列；⑤继续写入剩余DN，保证副本数达标。4.3列举Kafka实现精确一次（Exactly-Once）语义所需的Producer、Broker、Consumer三方配置及原理。答案：Producer：enable.idempotence=true，为每个PID维护序列号，Broker去重；Broker：acks=all，副本写入成功才返回，事务协调器记录事务状态；Consumer：isolation.level=read_committed，过滤未提交事务消息；事务流程：Producer发送TxnOffsetCommit与TxnCommit，事务协调器写入__transaction_state，Consumer仅读取已提交事务的偏移与数据。4.4对比Parquet与ORC文件格式在压缩率、向量化读取、嵌套结构支持、生态兼容性四方面的差异。答案：压缩率：ORC默认ZLIB略优于Parquet默认SNAPPY，但Parquet启用GZIP后相当；向量化读取：两者均支持，Parquet通过ColumnReader实现，ORC通过EncoreReader；嵌套结构：Parquet原生支持任意嵌套，ORC需复杂类型映射；生态兼容性：Parquet支持Spark、Flink、Hive、Impala，ORC在Hive、Presto优化更佳，Spark3.0后Parquet默认。4.5简述数据资产目录（DataCatalog）在数据治理中的四大职能，并给出实现自动化元数据采集的两种技术方案。答案：职能：（1）元数据集中存储与检索；（2）数据血缘与影响分析；（3）数据质量评分与告警；（4）数据权限与合规标签。技术方案：（1）SQL解析+日志嗅探：通过Calcite解析ETL脚本，结合MySQLbinlog、HiveHook实时采集；（2）Agent探针：在Spark、Flink引擎中植入自定义Listener，将运行时表级、列级血缘推送到Kafka，再由Catalog服务消费落库。5.应用题（共50分）5.1计算题（10分）某电商公司使用Spark对订单表order（字段：order_id,user_id,amount,dt）进行每日GMV统计，原SQL为selectdt,sum(amount)asgmvfromordergroupbydt;现数据量膨胀至2TB，分区字段dt为string，格式yyyy-MM-dd，共3650个分区，平均每个分区550MB。集群配置：200executor，4core/executor，内存12GB。（1）指出潜在性能瓶颈并给出两项优化参数；（2）计算在开启AQE动态合并分区后，目标分区大小256MB，估算最终ReduceTask数。答案：（1）瓶颈：小分区过多导致大量小Task，Shuffle单分区数据量小，调度开销大；优化：setspark.sql.shuffle.partitions=400；setspark.sql.adaptive.coalescePartitions.enabled=true。（2）总Shuffle数据量≈2TB，目标256MB/分区，理论Task数=2×1024×1024/256≈8192，AQE合并后实际Task数≈8192/2.1≈3900。5.2分析题（15分）给出某市交通卡口车流表structure：car_flow(卡口IDstring,车牌string,过车时间timestamp,车道int,车速int)需求：计算任意两辆相同车牌在60分钟内通过不同卡口的“伴随车”对，输出<车牌，卡口A，卡口B，时间差分钟>。要求：使用FlinkSQL实现，写出完整建表语句、核心SQL及状态TTL设定，并说明如何抑制同一对重复输出。答案：CREATETABLEcar_flow(卡口IDSTRING,车牌STRING,过车时间TIMESTAMP(3),WATERMARKFOR过车时间AS过车时间INTERVAL'5'SECOND)WITH(...);SELECTa.车牌,a.卡口IDas卡口A,b.卡口IDas卡口B,TIMESTAMPDIFF(MINUTE,a.过车时间,b.过车时间)as时间差分钟FROMcar_flowa,car_flowbWHEREa.车牌=b.车牌ANDa.卡口ID<>b.卡口IDANDa.过车时间BETWEENb.过车时间INTERVAL'60'MINUTEANDb.过车时间INTERVAL'1'SECOND;状态TTL：SETtable.exec.state.ttl=1h；重复抑制：使用ROW_NUMBER()OVER(PARTITIONBY车牌,卡口A,卡口BORDERBY时间差分钟)rk，过滤rk=1。5.3综合题（25分）背景：某视频APP日活3000万，日志链路为APP→Flume→Kafka→SparkStreaming→HDFS→Hive。现发现Hive表user_play_log延迟升高至6小时，目标1小时内。提供诊断报告模板，要求：（1）列出5项关键监控指标及采集方法；（2）给出基于Flink重构的实时数仓架构图（文字描述），并说明Exactly-Once保证；（3）计算资源评估：若每条日志0.8KB，峰值QPS30万，Flink并行度设为720，估算TaskManager内存配置（网络缓冲、JVM堆、RocksDB状态后端）。答案：（1）指标与采集：①KafkaLag：使用KafkaJMXMBeankafka.consumer:type=consumer-fetch-manager-metrics,client-id=,attribute=records-lag-max；①KafkaLag：使用KafkaJMXMBeankafka.consumer:type=consumer-fetch-manager-metrics,client-id=,attribute=records-lag-max；②SparkS