2026年大数据技术与应用考试试卷及答案

2026年大数据技术与应用考试试卷及答案一、单项选择题（每题2分，共40分）1.大数据“4V”特征中，不包括A.Volume（数据量大）B.Velocity（数据产生与处理速度快）C.Variety（数据类型多样）D.Virtualization（虚拟化）答案：D解析：大数据4V为Volume、Velocity、Variety、Value，虚拟化不属于大数据基本特征。2.Hadoop2.x及以上版本中，HDFS默认数据块（Block）大小为A.64MBB.128MBC.256MBD.512MB答案：B解析：Hadoop1.x默认为64MB，Hadoop2.x起默认为128MB。3.下列组件中，不属于Hadoop生态系统的是A.HDFSB.MapReduceC.YARND.Docker答案：D解析：Docker是容器化技术，虽可用于部署大数据组件，但不属于Hadoop生态。4.在MapReduce执行流程中，系统将输入文件划分为若干数据分片，并为每个分片启动一个Map任务，该步骤称为A.ShuffleB.SplitC.PartitionD.Combine答案：B解析：Split是逻辑切分；Partition决定每个键进入哪个Reduce任务。5.下面关于SparkRDD的描述，正确的是A.RDD是只读、可分区、可并行计算的分布式数据集B.RDD中的数据必须持久化到磁盘C.RDD只能由外部数据加载创建，不能由其他RDD转换生成D.RDD是可变数据集，支持原地修改答案：A解析：RDD不可变，可通过外部数据或已有RDD的转换操作生成，默认优先使用内存存储。6.SparkSQL中，DataFrame相比RDD的主要优势是A.只能处理结构化数据，功能受限B.自带Schema信息，并通过Catalyst优化器自动优化执行计划C.完全不需要编程接口D.不依赖Spark集群环境答案：B7.HBase属于下列哪种类型的数据库A.关系型B.文档型C.列族型D.图数据库答案：C8.在HBase数据模型中，唯一标识一行数据的字段是A.RowKeyB.ColumnFamilyC.CellD.Timestamp答案：A9.在Kafka中，同一个消费者组内的多个消费者订阅同一主题时，消息的消费模式是A.每条消息被组内所有消费者同时接收B.每条消息只被组内的某一个消费者消费C.每个消费者独立消费全部消息D.消息消费模式由生产者指定答案：B10.实时流处理框架Storm中，组成数据处理逻辑的两个基本单元是A.Spout和BoltB.Master和SlaveC.Worker和ExecutorD.Producer和Consumer答案：A11.YARN中负责整个集群资源管理与调度的组件是A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container答案：A解析：ResourceManager负责全局资源调度，ApplicationMaster只负责单个应用内部的任务申请与调度。12.通常情况下，Hive的元数据存储、底层数据存储与计算引擎分别对应A.MySQL、HDFS、MapReduce/SparkB.HDFS、MySQL、TezC.HBase、HDFS、FlinkD.PostgreSQL、Redis、Storm答案：A解析：Hive将元数据存于关系型数据库，如MySQL；数据存于HDFS；计算引擎通常为MapReduce、Tez或Spark。13.在Hive中，下列语句最可能真正触发MapReduce任务执行的是A.SELECT*FROMorders;B.SELECTCOUNT(*)FROMorders;C.SHOWTABLES;D.DESCorders;答案：B解析：SELECT*直接从HDFS读取文件，SHOW和DESC只读取元数据，而聚合操作需要启动计算任务。14.下列关于关系型数据库与大数据系统的区别，说法错误的是A.关系型数据库强一致支持事务，大数据系统更强调高吞吐和扩展性B.关系型数据库通常不擅长处理非结构化数据C.关系型数据库采用分布式架构，存储容量可以无限扩展D.大数据系统通常采用弱模式或Schema-on-read的方式管理数据答案：C解析：传统关系型数据库大多为集中式或主从架构，扩展能力有限，不能无限扩展。15.在大数据预处理中，数据清洗的主要目的是A.增大数据样本量B.发现并纠正缺失值、重复值、异常值与不一致数据C.把数据从HDFS迁移到MySQLD.对数据进行可视化答案：B16.关于关联规则挖掘Apriori算法，下列说法正确的是A.利用“频繁项集的子集一定是频繁项集”的先验性质进行剪枝B.利用置信度对候选集进行剪枝C.支持度低于阈值的项集会被保留D.Apriori只能处理连续型数值属性答案：A解析：Apriori通过支持度剪枝候选集，置信度用于生成规则而非剪枝，且算法针对离散项集。17.在Spark中，下列哪个算子一定会触发Shuffle过程A.mapB.filterC.groupByKeyD.mapValues答案：C解析：groupByKey需要按key重新分区；map、filter、mapValues均为窄依赖算子，不会产生Shuffle。18.在HiveSQL中，将Unix时间戳转换为日期时间字符串的函数是A.from_unixtime()B.unix_timestamp()C.date_sub()D.date_format()答案：A19.下列工具中，不属于大数据可视化工具的是A.TableauB.PowerBIC.EChartsD.Hadoop答案：D20.在Flume中，数据采集传输体系中三个核心组件的正确顺序是A.Source→Channel→SinkB.Source→Sink→ChannelC.Channel→Source→SinkD.Sink→Channel→Source答案：A二、多项选择题（每题2分，共10分）1.下列选项中，属于大数据处理关键技术的有A.分布式存储B.分布式计算C.数据采集与预处理D.数据可视化E.手工数据录入答案：ABCD解析：大数据技术链覆盖采集、预处理、存储、计算、分析与可视化，手工录入不属于其关键技术。2.HDFS的设计目标包括A.支持超大文件存储B.适合流式读取数据C.适合低延迟随机访问D.能够运行在廉价商用硬件上答案：ABD解析：HDFS面向批量流式读取，强调高吞吐，不适合低延迟随机访问，故C错误。3.下列组件中，属于Spark生态系统的有A.SparkSQLB.SparkStreamingC.GraphXD.MLlib答案：ABCD解析：四个模块分别覆盖结构化查询、流计算、图计算与机器学习。4.下列可用于大数据数据仓库或交互式SQL查询分析的组件有A.HiveB.ImpalaC.PrestoD.Zookeeper答案：ABC解析：Hive、Impala、Presto均可对HDFS数据提供SQL分析能力；Zookeeper是分布式协调组件，不提供SQL分析。5.关于MapReduce中的Shuffle阶段，下列说法正确的有A.Shuffle发生在Map输出之后、Reduce输入之前B.Shuffle包括分区、排序、溢写、合并等环节C.自定义Partitioner可以控制某个Key被分配到哪个Reduce任务D.Combine操作总是发生在Shuffle之后，即只在Reduce端执行答案：ABC解析：Combine是Map端可选的局部聚合，用于减少数据传输量，并非总在Reduce端执行。三、判断题（每题1分，共10分）1.HDFS适合存储海量小文件，不适合存储大文件。答案：错误解析：HDFS适合大文件，过多小文件会占用大量NameNode内存。2.Spark中的RDD是不可变的，任何转换操作都会产生新的RDD。答案：正确3.在MapReduce中，相同Key的Value经过Shuffle后默认会被汇总到同一个Reduce任务处理。答案：正确解析：默认分区器按照Key的哈希值进行分区，因此相同Key会进入同一分区。4.HBase对单行数据的读取和写入具有原子性。答案：正确解析：HBase支持行级原子性，行内各列的操作要么全部成功，要么全部失败，但不支持跨行事务。5.在Kafka中，同一个消费者组内的多个消费者不能同时订阅同一个主题。答案：错误解析：同一组内多个消费者可以共同订阅同一主题，但每条消息只会被组内一个消费者处理。6.数据可视化只是将数据美观地展示出来，不承担数据分析功能。答案：错误7.在Hadoop集群中，DataNode负责管理文件系统的命名空间和元数据。答案：错误解析：NameNode负责命名空间与元数据管理，DataNode负责数据块存储。8.数据仓库中的数据通常是面向主题、集成、稳定且随时间变化的。答案：正确9.Flume中，Event是数据在Source、Channel、Sink之间传输的基本单位。答案：正确10.与MapReduce相比，Spark基于内存计算，更适合迭代式算法和交互式查询。答案：正确四、简答题（每题5分，共20分）1.简述大数据的“4V”特征，并各举一个典型例子。答案：（1）Volume，数据量大。例如电商平台每天产生TB级交易日志。（2）Velocity，数据处理速度快。例如实时推荐需要在秒级完成用户行为分析。（3）Variety，数据类型多样。包括结构化表、文本、图片、音视频等。（4）Value，价值密度低。例如海量监控视频中有效目标信息占比很低。2.简述HDFS的读流程和写流程。答案：写流程：客户端向NameNode发起上传请求，NameNode检查权限并返回可写DataNode列表；客户端将文件切分成数据块，按流水线方式写入第一个DataNode，并由后者依次复制到其他副本节点；写入完成后DataNode上报块信息，NameNode更新元数据。读流程：客户端请求NameNode获取目标文件的块位置列表；客户端按照就近原则选择DataNode，逐个读取数据块；所有块读取完成后合并得到完整文件。3.简述Spark中RDD的两种主要创建方式。答案：（1）从外部数据源创建，例如sc.textFile("hdfs://...")、sc.parallelize(数组)等；（2）通过已有RDD的转换操作创建，例如rdd.map(func)、rdd.filter(func)、rdd.flatMap(func)等。4.简述Hive中内部表（管理表）与外部表的区别。答案：（1）内部表直接由Hive管理数据文件，外部表数据存放在Hive之外，由其他系统共享和管理；（2）删除内部表时会同时删除元数据和HDFS中的实际数据；删除外部表时仅删除元数据，底层数据保留；（3）内部表字段或存储路径变化时由Hive统一维护，外部表数据路径相对独立；（4）实际应用中，外部表常用于数据仓库基础层，内部表常用于中间结果或临时分析。五、综合分析题（每题10分，共20分）1.某电商平台每天产生订单数据（MySQL存储）、访问日志和用户行为埋点数据，目前单机数据库已无法满足海量数据的存储和分析需求。请设计一个基于Hadoop生态的大数据平台架构方案，并说明离线分析和实时流处理分别采用什么技术路线。答案：（1）数据采集层：使用Flume实时采集服务器日志和埋点数据，Kafka作为消息队列进行缓冲和分发；使用Sqoop将MySQL中的业务数据定期导入HDFS或Hive。（2）数据存储层：HDFS保存原始日志和离线分析数据；HBase面向需要实时读写和点查的业务数据；MySQL保存最终结果供前端应用查询。（3）计算与分析层：离线分析利用HiveSQL、MapReduce或Spark对HDFS数据进行批量清洗、统计和建模；实时计算由Kafka接入流式数据，经SparkStreaming或Flink进行窗口计算与实时指标统计，结果写入Redis或MySQL。配合Zookeeper提供分布式协调，YARN负责资源调度。（4）服务与可视化层：通过EChart