2026年大数据技术基础知识与应用能力考试试题及答案

2026年大数据技术基础知识与应用能力考试试题及答案一、单项选择题（每题1分，共20分。每题只有一个正确答案，请将正确选项填写在括号内）1.下列哪项不是大数据的“5V”特征之一？（）A.VolumeB.VelocityC.ValidityD.Variety答案：C2.在Hadoop生态中，负责资源调度与任务管理的组件是（）A.HDFSB.YARNC.MapReduceD.Hive答案：B3.下列哪种存储格式最适合用于列式存储分析型查询？（）A.JSONB.CSVC.ParquetD.Avro答案：C4.在Spark中，RDD的哪一项操作用于触发计算？（）A.mapB.filterC.reduceByKeyD.collect答案：D5.Kafka中用于保证消息顺序性的机制是（）A.PartitionB.ConsumerGroupC.OffsetD.Broker答案：A6.下列哪项不是NoSQL数据库的类型？（）A.文档型B.键值型C.关系型D.列族型答案：C7.在数据仓库中，星型模式的核心是（）A.事实表B.维度表C.汇总表D.临时表答案：A8.下列哪项技术最适合实现实时流处理？（）A.HadoopB.SparkStreamingC.HiveD.Pig答案：B9.在数据清洗过程中，处理缺失值的方法不包括（）A.删除缺失记录B.均值填充C.前向填充D.增加缺失值列答案：D10.下列哪项不是数据湖的特点？（）A.存储原始数据B.支持结构化数据C.强制Schema-on-WriteD.支持多种数据类型答案：C11.在Elasticsearch中，用于全文检索的核心数据结构是（）A.SegmentB.InvertedIndexC.ShardD.Node答案：B12.下列哪项不是数据治理的核心目标？（）A.数据质量B.数据安全C.数据冗余最大化D.数据合规性答案：C13.在SparkSQL中，用于注册临时视图的函数是（）A.createOrReplaceTempViewB.registerTableC.cacheTableD.persist答案：A14.下列哪项不是HDFS的写入流程步骤？（）A.Client向NameNode请求块位置B.DataNode直接写入磁盘C.Client将数据流式写入DataNodeD.NameNode记录元数据答案：B15.在Flink中，用于实现事件时间处理的函数是（）A.ProcessFunctionB.MapFunctionC.FilterFunctionD.FlatMapFunction答案：A16.下列哪项不是数据血缘的作用？（）A.追踪数据来源B.优化查询性能C.支持数据审计D.辅助影响分析答案：B17.在数据挖掘中，用于评估分类模型性能的指标是（）A.SSEB.SilhouetteCoefficientC.F1-ScoreD.Davies-BouldinIndex答案：C18.下列哪项不是数据脱敏技术？（）A.掩码B.加密C.随机化D.归一化答案：D19.在Hive中，用于分区表的关键字是（）A.CLUSTEREDBYB.PARTITIONEDBYC.SORTEDBYD.DISTRIBUTEBY答案：B20.下列哪项不是数据可视化工具？（）A.TableauB.PowerBIC.GrafanaD.ZooKeeper答案：D二、多项选择题（每题2分，共20分。每题有两个或以上正确答案，错选、漏选均不得分）21.下列哪些属于Hadoop生态系统的组件？（）A.HBaseB.SparkC.FlumeD.Oozie答案：A、C、D22.以下哪些属于数据预处理步骤？（）A.数据集成B.数据变换C.数据归约D.数据加密答案：A、B、C23.下列哪些属于Spark的转换操作？（）A.mapB.reduceC.filterD.groupByKey答案：A、C、D24.以下哪些属于数据仓库建模方法？（）A.ER模型B.星型模型C.雪花模型D.星座模型答案：B、C、D25.下列哪些属于Kafka的核心概念？（）A.TopicB.PartitionC.OffsetD.Container答案：A、B、C26.以下哪些属于数据质量维度？（）A.准确性B.一致性C.完整性D.可扩展性答案：A、B、C27.下列哪些属于NoSQL数据库？（）A.MongoDBB.CassandraC.RedisD.Oracle答案：A、B、C28.以下哪些属于数据安全策略？（）A.加密B.访问控制C.数据脱敏D.数据压缩答案：A、B、C29.下列哪些属于Flink的状态后端？（）A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.HDFSStateBackend答案：A、B、C30.以下哪些属于数据可视化原则？（）A.简洁性B.一致性C.误导性D.可交互性答案：A、B、D三、填空题（每空1分，共20分）31.Hadoop的核心组件包括HDFS和________。答案：MapReduce32.在Spark中，________是弹性分布式数据集的核心抽象。答案：RDD33.Kafka的消息存储单位是________。答案：Topic34.数据仓库中，用于描述业务过程的表称为________表。答案：事实35.在Elasticsearch中，一个索引可以被划分为多个________。答案：Shard36.数据清洗中，处理异常值的常用方法是________。答案：箱型图法（或IQR法）37.在Hive中，________函数用于将多行数据合并为一行。答案：collect_list/collect_set38.Flink中，________时间语义基于事件本身的时间戳。答案：EventTime39.数据治理框架中，________是指对数据生命周期进行管理。答案：数据生命周期管理40.在数据挖掘中，________算法用于发现数据中的频繁项集。答案：Apriori41.在HDFS中，NameNode负责存储________信息。答案：元数据42.在Spark中，________操作会触发Job执行。答案：Action43.数据脱敏中，________技术用于将真实值替换为虚构值。答案：伪匿名化44.在数据可视化中，________图适合展示时间序列数据。答案：折线图45.在NoSQL中，________数据库适合存储图结构数据。答案：图数据库（如Neo4j）46.在数据仓库中，________模型是星型模式的扩展。答案：雪花47.在Kafka中，________用于记录消费者消费的位置。答案：Offset48.在数据挖掘中，________用于评估聚类效果。答案：轮廓系数（SilhouetteCoefficient）49.在Spark中，________用于实现分布式共享变量。答案：广播变量（BroadcastVariable）50.在数据湖中，________是指数据在写入时不强制Schema。答案：Schema-on-Read四、简答题（每题6分，共30分）51.简述HDFS的写入流程，并说明其容错机制。答案：（1）客户端向NameNode请求写入文件，NameNode返回可写入的DataNode列表；（2）客户端将数据流式写入第一个DataNode，DataNode将数据转发给下一个DataNode，形成管道；（3）每个DataNode写入完成后返回确认信息；（4）NameNode记录元数据。容错机制：每个数据块默认有3个副本，分布在不同节点和机架，某节点失效时NameNode会重新复制副本。52.简述Spark与MapReduce在计算模型上的主要区别。答案：（1）Spark基于内存计算，MapReduce基于磁盘；（2）Spark支持DAG调度，MapReduce仅支持两阶段模型；（3）Spark支持缓存中间结果，MapReduce每次Shuffle都写磁盘；（4）Spark支持多种计算模式（批处理、流处理、机器学习），MapReduce仅支持批处理。53.简述数据仓库与数据湖的主要区别。答案：（1）数据仓库存储结构化数据，数据湖存储原始多结构数据；（2）数据仓库采用Schema-on-Write，数据湖采用Schema-on-Read；（3）数据仓库适合BI分析，数据湖适合数据科学与探索；（4）数据仓库成本高，数据湖基于廉价存储。54.简述Kafka如何实现高吞吐量。答案：（1）顺序写磁盘，避免随机IO；（2）零拷贝技术，减少内核与用户空间数据复制；（3）批量发送与压缩，减少网络开销；（4）分区机制，实现并行处理；（5）异步刷盘，降低延迟。55.简述数据血缘的作用及其在数据治理中的应用。答案：（1）追踪数据来源与去向，支持数据审计；（2）辅助影响分析，评估变更影响范围；（3）支持数据质量追溯，定位问题源头；（4）优化数据资产目录，提升数据可信度；（5）满足合规要求，如GDPR。五、应用题（共60分）56.（计算题，10分）某电商公司使用Spark进行用户行为分析，已知：用户日志数据量为500GB，存储在HDFS上，块大小为128MB；每个Map任务处理一个块，每个任务平均执行时间为2分钟；集群有100个Executor，每个Executor可同时运行4个任务；请计算完成全部Map任务所需的最短时间。答案：总块数=500GB/128MB=500×1024/128=4000块总任务数=4000并发任务数=100×4=400所需批次=4000/400=10批次最短时间=10×2=20分钟57.（分析题，10分）某企业构建数据仓库，采用星型模式设计销售主题，包含以下表：事实表：sales_fact（sale_id,product_id,customer_id,time_id,amount）维度表：product_dim,customer_dim,time_dim请分析：（1）该模式的优缺点；（2）若查询“2025年每个客户每月购买金额”，应如何写SQL（以Hive为例）。答案：（1）优点：查询简单、聚合高效、易于理解；缺点：冗余存储、维度更新复杂。（2）SQL：SELECTc.customer_name,t.month,SUM(f.amount)AStotal_amountFROMsales_factfJOINcustomer_dimcONf.customer_id=c.customer_idJOINtime_dimtONf.time_id=t.time_idWHEREt.year=2025GROUPBYc.customer_name,t.month;58.（综合题，20分）某金融公司需构建实时风控系统，要求：实时接收用户交易数据（每秒10万条）；实时计算用户近1分钟交易金额总和；若超过阈值则触发告警；请设计一套基于Flink的实时处理架构，并说明：（1）数据流向；（2）时间语义选择；（3）状态管理策略；（4）容错机制。答案：（1）数据流向：Kafka→Flink→Redis（缓存）→告警系统；（2）采用EventTime，避免网络延迟影响；（3）使用RocksDBStateBackend，开启Checkpoint，保存用户近1分钟交易金额；（4）开启Checkpoint+KafkaOffset提交，失败时从最近一次Checkpoint恢复。59.（设计题，20分）某市政府计划建设城市数据湖，整合交通、气象、公安、医疗等数据，要求：支持结构化与非结构化数据；支持数据共享与权限控制；支持数据血缘与质量管理；请设计一套数据湖架构，包括：（1）技术选型；（2）数据分层设计；（3）数据治理策略；（4）安全与合规措施。答案：（1）技术选型：HDFS+DeltaLake+Spark+Atlas+Ranger；（2）数据分层：原始层（Raw）、清洗层（Cleaned）、标准化层