2026年大数据技术与应用考试试卷及答案

2026年大数据技术与应用考试试卷及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项字母填在括号内）1.在HDFS中，默认一个数据块的大小是（）A.32MB B.64MB C.128MB D.256MB答案：C2.SparkCore默认的存储级别是（）A.MEMORY_ONLY B.MEMORY_AND_DISK C.DISK_ONLY D.OFF_HEAP答案：A3.下列算法中，不属于聚类算法的是（）A.K-means B.DBSCAN C.Apriori D.GMM答案：C4.在Flink中，负责将流划分为可重放状态的分布式快照机制称为（）A.Checkpoint B.Savepoint C.Window D.Barrier答案：A5.Hive元数据默认存储在（）A.HDFS B.MySQL C.PostgreSQL D.SQLite答案：B6.下列关于KafkaPartition的描述，正确的是（）A.一个Partition只能被一个ConsumerGroup内的一个消费者消费B.一个Partition只能被一个Broker存储C.Partition数量一旦创建不可修改D.Partition内消息全局有序答案：A7.在HBase中，用于实现行级原子性的读写操作接口是（）A.put B.delete C.increment D.checkAndPut答案：D8.若某张Hive表为分区表，分区字段为dt，则下列SQL语句正确的是（）A.SELECTFROMtWHEREdt=20260501;A.SELECTFROMtWHEREdt=20260501;B.SELECTFROMtPARTITION(dt=20260501);B.SELECTFROMtPARTITION(dt=20260501);C.SELECTFROMtPARTITIONdt=20260501;C.SELECTFROMtPARTITIONdt=20260501;D.SELECTFROMtWHEREPARTITIONdt=20260501;D.SELECTFROMtWHEREPARTITIONdt=20260501;答案：B9.在SparkMLlib中，用于评估二分类模型召回率的指标是（）A.precision B.recall C.accuracy D.F1-score答案：B10.下列关于数据湖的说法，错误的是（）A.支持结构化与非结构化数据共存B.强调Schema-on-ReadC.必须基于HDFS实现D.通常与ETL解耦答案：C11.在ClickHouse中，最适合做高基数去重的聚合函数是（）A.uniq B.uniqCombined C.uniqExact D.uniqHLL12答案：C12.若Flink作业并行度为8，KafkaTopic分区数为4，则每个Subtask最多消费的分区数为（）A.1 B.2 C.4 D.8答案：B13.在PySpark中，DataFrame的join方法默认使用哪种连接类型（）A.inner B.left C.right D.outer答案：A14.下列关于数据倾斜的说法，正确的是（）A.Map端必然发生数据倾斜B.Reduce端数据倾斜可通过两阶段聚合缓解C.Spark广播变量会加剧数据倾斜D.数据倾斜只发生在JOIN场景答案：B15.在Elasticsearch中，默认用于相关性评分的算法是（）A.TF-IDF B.BM25 C.VSM D.Cosine答案：B16.若某Parquet文件采用SNAPPY压缩，则其压缩比大致为（）A.1:1 B.2:1 C.5:1 D.10:1答案：B17.在Spark3.x中，自适应查询执行的英文缩写为（）A.AQE B.CBO C.RBO D.WSCG答案：A18.下列关于ZooKeeper的ZAB协议，说法正确的是（）A.支持写操作并行提交B.所有客户端直接写FollowerC.通过崩溃恢复阶段保证一致性D.读请求必须转发给Leader答案：C19.在数据仓库分层模型中，DWD层的主要职责是（）A.保存原始日志 B.轻度汇总 C.明细清洗落地 D.面向主题聚合答案：C20.若某表在MySQL行存大小为100GB，导入到ORC列存后大小约为（）A.10GB B.30GB C.60GB D.90GB答案：B二、多项选择题（每题2分，共20分。每题有两个或两个以上正确答案，多选、少选、错选均不得分）21.下列属于Spark的Transformation操作的有（）A.map B.reduce C.filter D.groupByKey答案：ACD22.关于HDFS写入流程，正确的有（）A.客户端先向NameNode申请BlockB.数据流先写入第一个DataNode再管道转发C.默认副本数为2D.写入完成后客户端关闭文件前触发fsync答案：ABD23.以下哪些组件支持Exactly-Once语义（）A.FlinkKafkaSink开启两阶段提交B.SparkStreaming开启WALC.Storm开启Ack机制D.Kafka0.11之后Producer开启幂等答案：AD24.在数据质量管理中，属于准确性指标的有（）A.缺失率 B.重复率 C.参照完整性 D.值域合规率答案：CD25.下列关于ORCFile格式的描述，正确的有（）A.支持列级压缩 B.内置轻量级索引 C.支持复杂数据类型 D.与Hive兼容答案：ABCD26.在FlinkTableAPI中，可用于定义时间属性的有（）A.rowtime B.proctime C.eventtime D.ingestiontime答案：AB27.以下哪些做法可以缓解SparkSQL数据倾斜（）A.加盐后二次聚合 B.提高shufflepartition数量 C.使用广播JOIN D.开启AQE自动倾斜处理答案：ABCD28.关于ClickHouseMergeTree引擎，正确的有（）A.支持主键索引 B.支持数据TTL C.支持副本 D.支持更新删除答案：ABCD29.在Kafka中，以下哪些命令可以查看Topic消息内容（）A.kafka-console-consumer B.kafka-dump-log C.kafka-run-classkafka.tools.DumpLogSegments D.kafka-topics答案：ABC30.下列属于数据治理核心活动域的有（）A.元数据管理 B.主数据管理 C.数据生命周期管理 D.模型压缩答案：ABC三、填空题（每空1分，共20分）31.在Spark中，RDD的五大特征分别为________、________、________、________、________。答案：分区列表、对每个分区的计算函数、对其他RDD的依赖列表、键值分区器（可选）、首选位置列表（可选）32.HDFS的NameNode内存中保存的核心数据结构是________与________。答案：FsImage、EditLog33.Flink的StateBackend包括MemoryStateBackend、________和________。答案：FsStateBackend、RocksDBStateBackend34.Kafka的消息格式版本在0.11之后称为________格式，支持幂等和事务。答案：v2（或RecordBatch）35.在Hive中，将查询结果插入到本地目录的语法关键字为________。答案：local36.在ClickHouse中，创建分布式表需要指定引擎为________。答案：Distributed37.数据仓库维度建模的四种基本类型是星型、________、________、________。答案：雪花、星座、宽表（或星形、雪花、星座、宽表）38.在PySpark中，创建SparkSession的入口类为________。答案：SparkSession39.Elasticsearch集群中负责分片自动均衡的进程称为________。答案：ClusterManager（或Master节点进程）40.在数据安全分级中，通常将数据分为公开、内部、________、________四个级别。答案：机密、绝密四、判断题（每题1分，共10分。正确打“√”，错误打“×”）41.SparkStreaming的DStream本质上是一组连续的RDD。（）答案：√42.HBase中列族数量越多，查询性能一定越高。（）答案：×43.Flink的Checkpoint机制依赖外部系统实现Exactly-Once。（）答案：√44.ORC文件格式不支持嵌套数据类型。（）答案：×45.Kafka的ConsumerGroup再均衡过程会导致消费暂停。（）答案：√46.在数据挖掘中，信息增益越大表示特征越不重要。（）答案：×47.ClickHouse的MaterializedView支持实时增量更新。（）答案：√48.HiveonSpark模式下，Hive使用Spark作为执行引擎。（）答案：√49.Elasticsearch的DocValues默认关闭，需要手动开启。（）答案：×50.数据血缘属于元数据管理范畴。（）答案：√五、简答题（共30分）51.（封闭型，6分）简述MapReduce中Shuffle阶段的具体流程，并指出可优化环节。答案：（1）Map端：每个MapTask将输出结果写入环形内存缓冲区，默认80%触发溢写，溢写前进行分区、排序、可选合并（Combiner），生成多个溢写文件，最终合并成一个大文件并生成索引。（2）Reduce端：通过HTTP拉取各自分区的数据，进行归并排序，按key分组后进入Reduce函数。优化环节：①调整io.sort.factor增加合并流数量；②启用Combiner减少网络传输；③使用压缩降低磁盘IO与网络；④调整Reduce数量避免过小或过大；⑤启用ShuffleService减少磁盘随机读。52.（开放型，8分）某电商公司“订单表”数据量每日新增10亿条，需支持近实时OLAP查询与离线历史分析。请给出一体化架构方案，说明各层组件选型与理由。答案：1）采集层：使用Kafka集群承载高吞吐写入，单条消息<1KB，分区数=Broker数×2，保证并行度。2）实时层：Flink消费Kafka，进行维度补齐、过滤、转换，双写ClickHouse与Iceberg表。ClickHouse提供毫秒级OLAP，Iceberg作为数据湖存储原始明细。3）离线层：SparkSQL读取Iceberg，每日调度进行DWD、DWS分层汇总，结果写回Iceberg并同步到StarRocks供BI查询。4）元数据与治理：HiveMetastore统一管理Iceberg表结构，ApacheAtlas做血缘与权限，Ranger做列级脱敏。5）资源调度：YARN统一管理Flink、Spark资源，HDFS高可用NameNode，ZooKeeper做协调。6）理由：Kafka+Flink保证毫秒延迟；ClickHouse向量化引擎满足高并发；Iceberg支持ACID、时间旅行，替代传统Hive表；StarRocks提供MySQL协议，降低BI接入成本；整体采用同一套存储格式（Parquet）减少冗余。53.（封闭型，6分）写出Spark3.x中开启自适应查询执行（AQE）的三项核心配置参数及其含义。答案：spark.sql.adaptive.enabled=true 全局开关spark.sql.adaptive.coalescePartitions.enabled=true 动态合并小分区spark.sql.adaptive.skewJoin.enabled=true 自动处理倾斜JOIN54.（开放型，10分）某日志文件格式为“user_id,event_time,event_type,page_id”，大小2TB，现需统计近30天每个用户的首次登录时间、最后登录时间、登录天数、活跃分钟数。请给出基于Spark的完整实现思路（含代码片段）并估算资源。答案：1）读取：使用SparkSession读取文本，repartition(2000)避免小文件。2）解析：df=spark.read.text(path).select(split(col("value"),",")(0).alias("uid"),to_timestamp(split(col("value"),",")(1)).alias("ts"),split(col("value"),",")(2).alias("type")).filter(col("type")==="login")3）去重：按uid、date去重，避免同一天多登。4）聚合：frompyspark.sqlimportWindoww1=Window.partitionBy("uid").orderBy("ts")w2=Window.partitionBy("uid")df=df.withColumn("first",first("ts").over(w1)).withColumn("last",last("ts").over(w2)).withColumn("date",to_date("ts"))result=df.groupBy("uid").agg(min("ts").alias("first_login"),max("ts").alias("last_login"),countDistinct("date").alias("login_days"),(round(unix_timestamp(max("ts"))unix_timestamp(min("ts")))/60).alias("active_minutes"))5）存储：result.write.mode("overwrite").orc(output)6）资源估算：2TB文本≈600GBORC，30天数据≈20GBORC；CPU2core·h/GB，约120core·h；内存每Executor4GB×200并行度≈800GB；shuffle量约100GB，开启AQE动态分区合并，总耗时约15min。六、计算与分析题（共30分）55.（计算题，10分）某电商促销，用户点击流数据量为5000万条，每条平均0.8KB，需通过Kafka传输到Flink做实时风控，要求端到端延迟<1s，吞吐峰值60万条/s。已知Kafka集群共9台Broker，千兆网卡，磁盘顺序写速度300MB/s，请计算：（1）所需Topic分区数下限；（2）每条消息压缩后大小（SNAPPY，压缩比2:1）；（3）单Broker最大安全吞吐（条/s）；（4）是否满足峰值需求，若不足给出扩容方案。答案：（1）峰值60万条/s，单分区安全上限≈10万条/s（经验值），需≥6分区，取8分区。（2）0.8KB/2=0.4KB=4096bit≈0.4KB。（3）单Broker网卡125MB/s，磁盘300MB/s，取瓶颈125MB/s；125MB/s÷0.4KB≈320k条/s。（4）9台×320k=288万条/s>60万条/s，满足峰值需求，无需扩容。56.（综合题，20分）给定用户标签宽表user_tag(uid,tag1,tag2,…,tag200)共5亿用户、200个标签，存储为Parquet，压缩后大小约800GB。现需随机抽取1000万用户做A/B实验，要求：①抽样样本能代表整体性别、年龄、城市等级分布；②抽样过程在30min内完成；③抽样结果写入ClickHouse表ab_test_users。请给出完整技术方案，含：a）抽样算法与Spark代码；b）ClickHouse建表语句；c）资源评估与优化点。答案：a）算法：采用分层抽样+reservoir采样。先按性别×年龄×城市等级构建200层，每层按用户量比例抽取，层内使用reservoir算法保证随机。代码：importorg.apache.spark.sql.functions._valdf=spark.read.parquet("hdfs:///user_tag")vallayer=concat(col("gender"),lit("_"),col("age_bucket"),lit("_"),col("city_level"))valtotal=df.groupBy(layer).count().withCo