2026年大数据技术应用考试试卷及答案

2026年大数据技术应用考试试卷及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，负责管理文件系统命名空间并维护文件到块的映射关系的守护进程是A.DataNode B.NodeManager C.NameNode D.ResourceManager答案：C1.2下列哪一项不是Kafka的核心组件A.Producer B.Consumer C.Broker D.HiveServer2答案：D1.3SparkSQL中，用于将DataFrame注册为临时视图的API是A.createOrReplaceView B.registerTempTable C.createTempView D.cacheTable答案：C1.4在Flink的时间语义中，事件时间（EventTime）由以下哪项提供A.系统时钟 B.数据元素自带的时间戳 C.Source节点插入的时间戳 D.Window操作符生成的时间戳答案：B1.5HBase中，用于实现Region自动分裂的策略接口是A.SplitPolicy B.CompactionPolicy C.FlushPolicy D.BalancerPolicy答案：A1.6当使用HiveonTez时，以下哪项参数可直接控制每个Map任务的最大输入数据量A.tez.am.resource.memory.mb B.hive.tez.container.size C.mapreduce.input.fileinputformat.split.maxsize D.hive.exec.reducers.bytes.per.reducer答案：C1.7在ClickHouse的MergeTree表中，用于强制后台合并的SQL语句是A.ALTERTABLE…MERGE B.OPTIMIZETABLE…FINAL C.SYSTEMMERGE D.VACUUMTABLE答案：B1.8下列关于数据湖Iceberg的描述错误的是A.支持行级更新 B.基于HDFS或S3存储 C.仅支持Spark引擎 D.提供ACID语义答案：C1.9在Elasticsearch的DSL查询中，用于对nested字段进行聚合的关键字是A.nested B.reverse_nested C.inner_hits D.sub_agg答案：A1.10使用Pandas读取一个10GB的CSV文件时，最节省内存的读取方式是A.pd.read_csv(…,dtype=str) B.pd.read_csv(…,chunksize=100000)C.pd.read_csv(…,low_memory=False) D.pd.read_csv(…,engine='python')答案：B2.多项选择题（每题3分，共15分；每题至少有两个正确答案，多选少选均不得分）2.1下列属于YARN调度器的是A.FIFOScheduler B.CapacityScheduler C.FairScheduler D.DeadlineScheduler答案：ABC2.2以下哪些操作会触发Spark的Job提交A.df.collect() B.df.write.parquet("hdfs://…") C.df.cache() D.df.count()答案：ABD2.3关于Kafka的exactly-once语义，下列说法正确的是A.需启用幂等Producer B.需设置事务型Producer C.Consumer需手动提交offset D.需使用KafkaStreams的processing.guarantee=exactly_once_v2答案：ABD2.4在数据仓库缓慢变化维（SCD）处理中，Type2的实现方式包括A.增加代理键 B.增加有效起止时间字段 C.原记录直接更新 D.增加版本号字段答案：ABD2.5下列属于NoSQL数据库CAP定理中“分区容错+可用”组合的典型系统有A.Cassandra B.MongoDB（默认配置） C.HBase D.DynamoDB答案：AD3.填空题（每空2分，共20分）3.1Hive默认的文本文件存储格式是________，其行分隔符为________。答案：TextFile，'\n'3.2在Spark中，________算子用于将RDD中的元素扁平化，________算子用于按键进行聚合。答案：flatMap，reduceByKey3.3Flink的Checkpoint机制基于________算法实现分布式一致性快照。答案：Chandy-Lamport3.4HBase中，________命令用于查看表的所有Region分布情况。答案：hbasehbck-details3.5使用Sqoop将MySQL数据导入Hive时，参数________可指定Hive表的分区字段。答案：--hive-partition-key3.6ClickHouse中，用于计算近似去重的函数是________。答案：uniqCombined3.7Elasticsearch集群中，________节点负责集群元数据的管理，________节点负责数据存储与查询。答案：Master，Data3.8在数据治理框架ApacheAtlas中，________类型用于描述Hive表与列之间的血缘关系。答案：hive_column_lineage3.9使用Python的pyarrow库将Parquet文件读入内存后，得到的对象类型是________。答案：pyarrow.Table3.10数据湖DeltaLake中，________文件记录了事务日志的版本信息。答案：_delta_log4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1Spark的RDD一旦创建便不可变。答案：√4.2Kafka的Topic分区数可以在运行中减少。答案：×4.3HBase的RowKey设计应避免热点，可采用哈希前缀或反转策略。答案：√4.4Hive的UDF必须继承org.apache.hadoop.hive.ql.exec.UDF类。答案：√4.5Flink的Cep库支持在事件流中检测复杂事件模式。答案：√4.6ClickHouse的分布式表实际不存储数据，仅作为查询路由。答案：√4.7Elasticsearch的索引一旦创建，其分片数不可更改。答案：√4.8Sqoop导出数据到MySQL时，若目标表不存在，会自动创建。答案：×4.9数据湖Iceberg的隐藏分区（HiddenPartitioning）需要用户手动添加分区字段。答案：×4.10在SparkStructuredStreaming中，Complete模式必须与聚合查询一起使用。答案：√5.简答题（封闭型，每题6分，共18分）5.1简述HDFS写入流程中Packet队列的作用，并说明其如何保障数据管道传输的可靠性。答案：客户端将文件切分为Packet（默认64KB），以队列形式向DataNode管道发送；每个Packet携带校验和，下游DataNode验证后向前一个节点返回ACK；若超时未收到ACK，客户端将重发该Packet，从而保障管道传输的可靠性。5.2说明SparkSQL中Catalyst优化器的主要优化阶段，并给出每个阶段的核心任务。答案：1.解析阶段：生成未解析逻辑计划；2.分析阶段：利用Catalog解析属性和关系，生成解析后逻辑计划；3.逻辑优化阶段：基于规则（谓词下推、列裁剪等）优化逻辑计划；4.物理计划阶段：生成多个物理计划并基于成本模型选择最优；5.代码生成阶段：将物理计划编译为Java字节码。5.3列举Flink实现端到端exactly-once语义的三要素，并简要说明各要素的职责。答案：1.幂等性写入：外部系统支持幂等更新，防止重复数据；2.两阶段提交：Sink在Checkpoint完成时提交事务，失败则回滚；3.可重放Source：Source具备offset重置能力，保证故障恢复时数据可重放。6.简答题（开放型，每题8分，共16分）6.1某电商公司每日新增订单数据约500GB，需构建实时数仓供运营分析。请设计一套基于Flink+Kafka+Iceberg的实时入湖方案，要求说明：1.各组件职责；2.如何解决小文件问题；3.如何支持订单更新（如状态变更）。答案：1.Kafka作为订单流入口，按业务主键order_id分区；Flink负责流式读取、解析、去重、关联维度，并写入Iceberg表；Iceberg存储在S3，采用隐藏分区按日期+小时划分。2.FlinkCheckpoint间隔设为1分钟，Icebergcommit同步触发，后台每30分钟执行OPTIMIZETABLE重写合并，设置target-file-size=128MB；同时通过Flink的compaction算子在线合并，控制写入文件大小。3.Iceberg表格式支持行级更新，Flink使用UPSERT模式写入，定义order_id为主键，Iceberg通过merge-on-read生成deletefile，查询时合并datafile与deletefile，保证订单状态可见性。6.2某市政府开放数据平台需对外提供10TB交通卡口历史抓拍数据查询服务，要求支持车牌模糊查询、时间段过滤、返回结果不超过1秒。请提出一种基于Elasticsearch+HDFS的混合存储检索方案，并说明索引设计、数据冷热分层、查询路由策略。答案：1.索引设计：按“年月”建立索引traffic_202601，每个分片30GB，分片数=节点数×1.5；字段包括plate_number.keyword（车牌精确值）、plate_ik（IK分词模糊）、pass_time（date类型，毫秒）、camera_id、location；对plate_ik与pass_time建立联合索引。2.冷热分层：近30天数据在热节点（SSD，32vCPU，128GB），历史数据通过ILM迁移到冷节点（HDD，16vCPU，64GB），冷数据快照存储于HDFS，查询时若时间范围超过30天，自动路由至冷集群。3.查询路由：网关层解析查询条件，若pass_time>=now-30d，直接转发热集群；否则并行查询冷热集群，结果合并后返回；对模糊查询使用wildcard+edge_ngram，控制最大扩展50词，避免内存爆炸；利用routing=plate_number.keyword%100将同一车牌路由到同一分片，减少广播，提高缓存命中率。7.计算题（共15分）7.1某电商公司使用Spark对商品点击日志进行统计，日志字段为(user_id,item_id,category,ts)。已知当日日志2亿条，平均每条200字节，集群共10个Executor，每个Executor4cores、16GB内存。现执行以下SQL：SELECTcategory,COUNT(DISTINCTuser_id)ASuv,COUNT()ASpvSELECTcategory,COUNT(DISTINCTuser_id)ASuv,COUNT()ASpvFROMclick_logGROUPBYcategory;假设category基数为1000，user_id去重后约500万，请估算：（1）ShuffleWrite数据量；（2）每个Executor峰值内存占用；（3）若出现OOM，给出两种调优方案并计算效果。答案：（1）Map端聚合：假设combiner压缩比0.3，每条输出(category,user_id)24字节，ShuffleWrite≈2亿×24×0.3=144GB。（2）Reduce端需缓存500万用户Bitmap，RoaringBitmap压缩后约2bit/user，总大小≈500万×2bit=1.19GB；1000个分组，累计1.19GB；加上HashMap、排序缓冲等，峰值内存≈1.19×2+1=3.38GB，小于16GB，理论上不OOM。（3）若OOM，方案A：增加spark.sql.shuffle.partitions=2000，每分区数据量减半，内存降50%；方案B：启用spark.sql.adaptive.enabled=true，自动拆分倾斜分区，假设最大分区数据量从5%降至1%，峰值内存降80%。8.综合分析题（共26分）8.1某视频平台每日产生500亿条播放事件，字段含(user_id,video_id,play_time,duration,ip,device)。现需构建Lambda架构，分别满足：1.实时大屏：每5秒更新播放量、UV；2.离线报表：T+1生成多维度Cube，含视频、地域、设备、时间维度；3.近线修正：支持7天内数据补录，保证最终一致性。请完成：（1）画出整体架构图（文字描述即可）；（2）给出各层组件选型与理由；（3）说明实时层如何做到5秒延迟；（4）说明离线层如何构建Cube并计算存储空间；（5）说明如何用Flink实现近线修正并保证幂等。答案：（1）架构：Event→Kafka→Flink→Redis（实时）Event→Kafka→Flume→HDFS→SparkSQL→ClickHouse（离线）修正流→Kafka→Flink→ClickHouse