2026年大数据考试精讲考试题及答案

2026年大数据考试精讲考试题及答案一、单项选择题（本大题共20小题，每小题2分，共40分。在每小题列出的四个备选项中只有一个是符合题目要求的，请将其代码填写在题后的括号内。）1.在Hadoop生态系统中，负责分布式存储和分布式计算的核心组件分别是（）。A.HDFS和MapReduceB.HBase和SparkC.HDFS和YARND.MapReduce和ZooKeeper2.HDFS默认的块大小（BlockSize）在Hadoop2.x版本中通常是（）。A.64MBB.128MBC.256MBD.512MB3.下列关于MapReduce中Shuffle阶段的描述，错误的是（）。A.Shuffle阶段连接了Map端的输出和Reduce端的输入B.Shuffle阶段主要包括Partition、Sort、Merge等过程C.Shuffle过程完全在内存中进行，不涉及磁盘I/OD.Shuffle是MapReduce性能优化的关键环节4.在Spark中，RDD（弹性分布式数据集）的特性不包括（）。A.弹性B.分区性C.可变性D.只读性5.HiveQL语句“SELECTstudent_id,AVG(score)FROMstudent_scoreGROUPBYstudent_id;”在底层执行时，通常对应的MapReduce任务数量是（）。A.0个B.1个C.2个D.3个或更多6.HBase是一个基于列的分布式数据库，其数据存储模型是基于（）。A.关系模型B.键值对模型C.文档模型D.图模型7.下列关于Flume架构的描述，正确的是（）。A.Flume由Source、Channel和Sink三个核心组件组成B.Flume的Channel必须是MemoryChannelC.Flume不支持多路复用和路由D.Flume主要用于离线批处理8.在YARN资源管理框架中，负责向ResourceManager申请资源并启动Container的节点是（）。A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container9.SparkRDD算子中，属于Transformation（转换）算子的是（）。A.countB.reduceC.foreachD.map10.下列关于ZooKeeper的描述，不正确的是（）。A.ZooKeeper是一个分布式协调服务B.ZooKeeper通过Zab协议保证数据一致性C.ZooKeeper适合存储大量数据D.ZooKeeper可以用于Leader选举11.在HDFS中，SecondaryNameNode的作用是（）。A.热备NameNode，实现故障自动转移B.辅助NameNode合并FsImage和EditsLogC.负责管理DataNode的块报告D.处理客户端的读写请求12.SparkStreaming处理实时数据时，其核心抽象是（）。A.RDDB.DataFrameC.DStreamD.Dataset13.下列哪个技术主要用于解决海量数据的随机读写问题？（）A.HDFSB.MapReduceC.HBaseD.Hive14.在Hive中，内部表和外部表的主要区别在于（）。A.查询效率不同B.存储格式不同C.删除表时是否删除元数据和数据D.支持的SQL语法不同15.为了解决MapReduce中数据倾斜的问题，可以采取的有效措施是（）。A.增加ReduceTask的数量B.强制指定PartitionerC.设置CombinerD.以上都是16.下列关于Scala语言的特性，描述错误的是（）。A.Scala是面向对象的B.Scala是函数式的C.Scala源代码编译后生成.class文件D.Scala不能运行在JVM上17.在Kafka中，Topic是消息的逻辑分类，物理上它被分为一个或多个（）。A.BrokersB.PartitionsC.ConsumersD.Producers18.SparkSQL中，可以将RDD转换为DataFrame的方法是（）。A.rdd.toDF()B.rdd.toDataFrame()C.createDataFrame(rdd)D.以上A和C都可以19.下列关于HDFS副本机制的描述，正确的是（）。A.默认副本数为2B.副本存放策略完全随机C.第一个副本通常存放在上传节点的本地D.机架感知策略是为了提高网络带宽利用率20.在机器学习库MLlib中，用于逻辑回归的算法类位于（）。A.org.apache.spark.mllib.classificationB.org.apache.spark.mllib.regressionC.org.apache.spark.mllib.clusteringD.org.apache.spark.mllib.recommendation二、多项选择题（本大题共10小题，每小题3分，共30分。在每小题列出的五个备选项中有两个至五个是符合题目要求的，请将其代码填写在题后的括号内。多选、少选、错选均不得分。）21.大数据的4V特征包括（）。A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Value（低价值密度）E.Veracity（真实性）22.HDFS的高可用性（HA）架构中，通常包含的角色有（）。A.ActiveNameNodeB.StandbyNameNodeC.JournalNodeD.ZooKeeperE.DataNode23.SparkRDD的依赖关系分为窄依赖和宽依赖，下列属于宽依赖的算子有（）。A.mapB.filterC.groupByKeyD.reduceByKeyE.join24.下列属于HiveMetastore存储的元数据信息有（）。A.表名B.列名和列类型C.HDFS存储路径D.表的OwnerE.表的具体数据内容25.下列关于HBaseRowKey设计的建议，正确的有（）。A.RowKey长度要尽量短B.RowKey利用哈希散列避免热点C.RowKey按照字典序排序D.RowKey可以是任意字符串E.RowKey设计应尽量利用时间戳倒序26.YARN中，ResourceManager的主要职责包括（）。A.处理客户端请求B.监控NodeManager的健康状态C.资源分配与调度D.启动ApplicationMasterE.向NodeManager下达Container启动命令27.下列哪些技术可以作为Spark的数据源？（）A.HDFSB.HBaseC.JSOND.MySQLE.Elasticsearch28.Flume中的Channel类型包括（）。A.MemoryChannelB.FileChannelC.KafkaChannelD.JDBCChannelE.NettyChannel29.在进行Hive性能优化时，常见的手段有（）。A.利用分区表B.利用分桶表C.开启向量化查询D.使用索引（尽管Hive索引功能较弱）E.调整MapReduce的内存参数30.机器学习工作流中，通常包括哪些步骤？（）A.数据清洗B.特征工程C.模型训练D.模型评估E.模型部署三、填空题（本大题共15小题，每小题2分，共30分。请将答案填写在题后的横线上。）31.HDFS的读写流程中，数据是以__________为单位进行传输的。32.MapReduce程序主要包含__________和__________两个阶段。33.Spark中，可以通过__________算子将RDD缓存到内存中，以避免重复计算。34.Hive默认的元数据存储数据库是__________。35.HBase中，数据按照__________、ColumnFamily、ColumnQualifier和Timestamp进行多维排序。36.ZooKeeper的数据节点称为__________。37.Kafka中，每个Partition可以有多个消费者组同时消费，但每个消费者组内，一个Partition只能被__________个消费者消费。38.在Scala中，__________是单例对象，通常用于存放静态方法或常量。39.YARN中，__________负责管理单个节点上的资源和使用情况。40.Flume中，__________组件负责从数据源接收数据。41.SparkSQL可以通过__________语句直接在Hive表上执行SQL查询。42.HBase的表在物理存储上按照__________进行存储。43.布隆过滤器（BloomFilter）在HBase中主要用于__________优化。44.在LinuxShell中，用于查看HDFS文件系统目录结构的命令是__________。45.RDD的Lineage（血统）机制用于记录RDD之间的__________关系，以便在数据丢失时进行恢复。四、简答题（本大题共5小题，每小题8分，共40分。）46.简述HDFS的读写流程（以客户端读取数据为例）。47.解释Spark中宽依赖和窄依赖的区别，并说明这种划分对Stage生成的影响。48.简述Hive内部表与外部表的区别及使用场景。49.什么是数据倾斜？在MapReduce或Spark作业中，如何检测和解决数据倾斜？50.简述CAP定理的内容，并说明HBase和Cassandra在CAP权衡上的选择。五、综合应用题（本大题共3小题，共60分。）51.（本题20分）某电商网站需要实时统计每分钟的订单金额。场景描述：Web服务器产生的用户下单日志以文本形式实时写入Kafka的Topic“order_logs”。要求：(1)设计一套基于SparkStreaming的实时计算架构，画出架构图并描述各组件的作用。(2)给出SparkStreaming核心代码逻辑（Scala或Python伪代码），说明如何从Kafka读取数据、解析JSON、计算每分钟总金额，并输出到控制台或MySQL。(3)如果在“双11”期间数据量激增，导致SparkStreaming处理延迟，你会采取哪些优化措施？52.（本题20分）假设有一张Hive大表“user_behavior”（包含字段：user_id,item_id,behavior_type,timestamp），数据量高达10亿行，且每天新增。我们需要查询某个特定用户（user_id='10001'）在最近一年的所有点击行为。(1)请设计该表的存储格式（RCFile/ORC/Parquet）、分区策略和分桶策略，以最大化查询效率。(2)写出实现该查询的高效HiveQL语句。(3)解释为什么你的设计能够提高查询性能。53.（本题20分）在HBase中，存储着海量的传感器数据，表结构为：RowKey：SensorID_Timestamp（例如：S001_20231027120000）ColumnFamily：dataColumn：temperature,humidity现在需要编写一个MapReduce作业，统计每个传感器（SensorID）的平均温度。(1)请设计RowKey的生成规则，以避免RegionServer热点问题。(2)描述MapReduce作业中Mapper和Reducer的输入输出格式。(3)给出Mapper和Reducer的核心伪代码逻辑。【参考答案及解析】一、单项选择题1.【答案】A【解析】Hadoop的核心由HDFS（分布式文件系统）和MapReduce（分布式计算框架）组成。YARN是资源调度器，HBase是NoSQL数据库。2.【答案】B【解析】在Hadoop2.x及以后的版本中，HDFS默认的块大小为128MB，而在1.x版本中默认为64MB。3.【答案】C【解析】Shuffle阶段涉及大量的网络传输和磁盘I/O（Spill操作）。Map端输出的数据会先写入内存缓冲区，当缓冲区满时溢写到磁盘，然后进行归并排序。4.【答案】C【解析】RDD（ResilientDistributedDataset）是只读的、分区的记录集合。一旦创建，就不能修改。它具有弹性、分区性、只读性等特性，但不具备可变性。5.【答案】C【解析】该SQL包含GROUPBY操作。在Hive中，GROUPBY通常需要启动两个Stage：第一个Stage进行Map端的局部聚合（如果有Combiner）或直接输出，第二个Stage进行Reduce端的全局聚合。通常涉及MapTask和ReduceTask。6.【答案】B【解析】HBase从逻辑上看是一个稀疏的、多维的、排序的映射表，但从底层存储实现来看，它是一个分布式的、基于列族的、持久化的、多维排序的Key-Value存储。7.【答案】A【解析】Flume的核心架构是Source（数据源）、Channel（通道）、Sink（目的地）。Channel可以是MemoryChannel、FileChannel等。8.【答案】C【解析】ApplicationMaster（AM）是每个应用程序特有的，它负责向ResourceManager申请资源，并与NodeManager通信以启动和监控Container。9.【答案】D【解析】map是Transformation算子，它返回一个新的RDD。count、reduce、foreach都是Action算子，会触发作业提交。10.【答案】C【解析】ZooKeeper主要用于维护配置信息、命名服务、分布式同步和组服务。它不适合存储大量数据，通常用于存储少量的状态数据（如KB级别）。11.【答案】B【解析】SecondaryNameNode并非NameNode的热备。它的主要作用是定期合并FsImage（镜像文件）和EditsLog（编辑日志），减少NameNode重启时的恢复时间。12.【答案】C【解析】SparkStreaming的核心抽象是DStream（DiscretizedStream），它是连续的RDD序列。13.【答案】C【解析】HDFS适合批量读写，不支持随机读写；MapReduce是离线计算框架；HBase建立在HDFS之上，支持高并发的随机读写。14.【答案】C【解析】删除内部表时，Hive会删除元数据和存储在HDFS上的实际数据；删除外部表时，Hive只删除元数据，HDFS上的数据保留。15.【答案】D【解析】数据倾斜通常指大量数据被分配到了同一个Reduce任务。解决方法包括：增加Reduce任务数（缓解）、自定义Partitioner分散数据、开启Combiner减少数据传输量、对Key加盐进行局部聚合等。16.【答案】D【解析】Scala被设计为能够无缝地与Java互操作，它运行在Java虚拟机（JVM）上。17.【答案】B【解析】Kafka中的Topic被分为多个Partition以实现扩展性和并行处理。18.【答案】D【解析】在SparkSQL中，可以通过`rdd.toDF()`（需要隐式转换）或`spark.createDataFrame(rdd)`将RDD转换为DataFrame。19.【答案】D【解析】HDFS默认副本数为3。第一个副本通常存在客户端（若客户端不在集群内则随机节点），第二个副本存放在不同机架的节点，第三个副本同第二个副本机架的不同节点。机架感知是为了容错和带宽优化。20.【答案】A【解析】逻辑回归属于分类算法，位于`org.apache.spark.mllib.classification`包下（基于RDD的API）。线性回归位于regression包下。二、多项选择题21.【答案】ABCDE【解析】大数据的特征通常被描述为4V，即Volume（体量）、Velocity（速度）、Variety（多样性）、Value（价值密度）。有时也会加上Veracity（真实性）形成5V。22.【答案】ABCDE【解析】HDFSHA架构中包含ActiveNameNode、StandbyNameNode、JournalNode（用于元数据同步）、ZooKeeper（用于自动故障转移）以及DataNode。23.【答案】CD【解析】宽依赖是指父RDD的一个分区被子RDD的多个分区依赖，通常涉及Shuffle。groupByKey、reduceByKey、join（默认）都涉及Shuffle。map和filter是窄依赖（一对一）。24.【答案】ABCD【解析】HiveMetastore存储表的定义信息，如表名、列信息、分区信息、存储位置、Owner等。它不存储表的具体数据内容。25.【答案】ABC【解析】RowKey设计原则：长度越短越好（由HBase存储决定）；利用哈希前缀避免热点（因为HBase是按RowKey字典序排序的，连续的RowKey会落在同一个Region）；利用时间戳倒序（避免最新数据总是在同一个Region）。RowKey必须是字节数组，通常设计为String或byte[]。26.【答案】ABCDE【解析】ResourceManager是YARN的主节点，负责处理客户端请求、监控NodeManager、资源调度、启动ApplicationMaster，并通过NodeManager管理Container的生命周期。27.【答案】ABCDE【解析】Spark支持多种数据源，包括分布式文件系统（HDFS）、NoSQL（HBase,Cassandra,ES）、关系型数据库（MySQL,Oracle）、消息队列以及JSON/CSV等文件格式。28.【答案】ABC【解析】Flume内置的Channel类型包括MemoryChannel（内存）、FileChannel（磁盘）、KafkaChannel等。JDBCChannel和NettyChannel不是标准内置Channel（虽然可以通过自定义实现）。29.【答案】ABCE【解析】Hive优化手段包括：分区/分桶表（减少扫描数据量）、向量化查询（提高CPU利用率）、索引（尽管Hive3.0移除了索引，但在旧版本或特定场景可用）、调整MapReduce参数（内存、JVM重用）、使用Tez/Spark替代MapReduce等。30.【答案】ABCDE【解析】标准的机器学习工作流包含数据清洗、特征工程、模型训练、模型评估以及模型部署。三、填空题31.【答案】Block（块）32.【答案】Map；Reduce33.【答案】cache或persist34.【答案】Derby35.【答案】RowKey36.【答案】Znode37.【答案】一38.【答案】Object39.【答案】NodeManager40.【答案】Source41.【答案】spark.sql42.【答案】HFile43.【答案】Block（或查询/过滤）44.【答案】hdfsdfs-ls45.【答案】依赖四、简答题46.【答案】HDFS客户端读取数据的流程如下：(1)初始化：DistributedFileSystem对象通过RPC调用NameNode，获取文件开始块的位置信息。(2)获取流：NameNode返回存储该块副本的DataNode地址列表。客户端创建FSDataInputStream。(3)读取数据：客户端调用stream.read()方法。(4)建立连接：FSDataInputStream选择距离客户端最近的DataNode建立连接，读取数据。(5)流式传输：数据以流的形式从DataNode传输到客户端。(6)读取完毕与切换：当当前块读取完毕后，FSDataInputStream关闭与当前DataNode的连接，并调用NameNode获取下一个块的位置信息。(7)结束：当所有块读取完毕后，关闭流。47.【答案】区别：(1)窄依赖：父RDD的每一个分区最多被子RDD的一个分区所使用。即一对一关系。例如：map,filter,union。(2)宽依赖：父RDD的一个分区被子RDD的多个分区所依赖。即一对多关系，通常涉及Shuffle。例如：groupByKey,reduceByKey,join。对Stage生成的影响：Spark根据RDD之间的依赖关系将DAG图划分为多个Stage。(1)遇到窄依赖时，Spark会将这些算子并入同一个Stage，以实现流水线优化。(2)遇到宽依赖时，由于需要Shuffle，宽依赖就是划分Stage的边界。新的Stage从宽依赖处开始。这种划分使得Spark可以在Stage内部进行高效的流水线执行，而在Stage之间进行Shuffle数据传输。48.【答案】区别：(1)数据管理：删除内部表时，Hive会同时删除元数据（Metastore）和存储在HDFS上的实际数据文件；删除外部表时，Hive只删除元数据，HDFS上的数据文件被保留。(2)创建语法：内部表使用`CREATETABLE`；外部表使用`CREATEEXTERNALTABLE`，通常需要指定`LOCATION`。(3)使用场景：内部表用于数据由Hive全权管理，通常是中间表或临时表；外部表用于数据由其他应用或原始文件共享，Hive仅作为分析工具，不希望误删数据。使用场景：(1)内部表：适用于ETL过程中的中间结果表，或者数据导入后不需要保留原始文件的情况。(2)外部表：适用于分析原始日志文件、多个工具共享同一份数据源的情况，或者数据需要长期保留在HDFS上而表结构可能变动的场景。49.【答案】定义：数据倾斜是指在MapReduce或Spark作业中，数据分布不均匀，导致大量的Key被分配到了同一个Task（ReduceTask或SparkTask）中，使得该Task运行时间远超其他Task，成为整个作业的瓶颈。检测：(1)通过JobTracker或SparkUI观察Task的运行时间，如果绝大多数Task很快完成，而极少数Task运行极慢或未完成，则存在数据倾斜。(2)查看日志中是否存在某些HashBucket数据量过大的警告。解决方法：(1)MapReduce/Spark通用：提高并行度：增加ReduceTask的数量，可能将倾斜的数据分散到更多Task中（治标）。自定义Partitioner：根据业务逻辑重新设计Key的分配规则，将热点Key分散。数据预处理：在Map端进行聚合，减少传输到Reduce端的数据量。(2)Spark特有：使用Salting（加盐）：为热点Key添加随机前缀（如0-N），将其分散到不同Partition处理，最后再去除前缀进行聚合。BroadcastJoin：如果倾斜发生在Join操作，且是小表Join大表，可以将小表广播到所有Executor，避免Shuffle。50.【答案】CAP定理内容：在一个分布式系统中，Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性）三者不可兼得，最多只能同时满足两项。C：所有节点在同一时刻看到的数据相同。A：每次请求都能得到响应（无论成功或失败）。P：系统在网络分区（节点间通信中断）的情况下仍能继续运行。HBase的选择：CPHBase被设计为CP系统。它强一致性（通过MVCC机制保证单行读写的原子性和一致性）。当发生网络分区时，为了保证数据一致性，HBase可能会牺牲可用性，受影响区域的读写会失败或阻塞，直到分区恢复或节点被剔除。Cassandra的选择：APCassandra被设计为AP系统（可配置为最终一致性）。它优先保证高可用性。即使在网络分区发生时，节点依然可以接受读写请求，但这可能导致读取到旧的数据（最终一致性）。五、综合应用题51.【答案】(1)架构设计：架构图描述：[WebServers]-->(产生日志)-->[KafkaCluster(Topic:order_logs)]-->[SparkStreamingApp]-->[MySQL/Console]组件作用：Kafka：作为消息队列，解耦生产者和消费者，提供高吞吐量和数据缓存，应对流量洪峰。SparkStreaming：作为流式计算引擎，从Kafka拉取数据，进行实时窗口计算。MySQL：存储计算结果，供前端展示。(2)核心代码逻辑（Scala伪代码）：```scalavalconf=newSparkConf().setAppName("OrderAmountAggregator")valssc=newStreamingContext(conf,Seconds(60))//批处理间隔60秒valkafkaParams=Map("bootstrap.servers"->"kafka-broker:9092","group.id"->"order_group")valtopics=Set("order_logs")valstream=KafkaUtils.createDirectStream[String,String](ssc,LocationStrategies.PreferConsistent,ConsumerStrategies.Subscribe[String,String](topics,kafkaParams))//解析JSON并计算valorderStream=stream.map(record=>parseJson(record.value()))//假设解析为valamountStream=orderStream.map(order=>(order.minuteKey,order.amount))//minuteKey格式如YYYY-MM-DDHH:MMvaltotalAmountStream=amountStream.reduceByKey(_+_)//输出totalAmountStream.foreachRDD{rdd=>rdd.foreach{case(minute,amount)=>//写入MySQL或打印println(s"Time:mi//saveToMySQL(minute,amount)}}ssc.start()ssc.awaitTermination()```(3)优化措施：增加并行度：提高KafkaPartition的数量和SparkStreaming的Executor数量/并发度。背压：开启SparkStreaming的Backpressure机制，动态调整接收速率。代码优化：使用reduceByKey而不是groupByKey，在Shuffle前进行Map端预聚合。资源调优：增加Executor内存，调整Kyro序列化以减少序列化开销。窗口优化：如果允许极小的延迟，可以适当增加微批处理的时间间隔（BatchInterval）。52.【答案】(1)表设计：存储格式：选择Parquet或ORC。这两种列式存储格式不仅压缩率高，而且支持谓词下推，只读取需要的列。分区策略：按日期（如`dt`，格式yyyy-MM-dd）进行分区。这样查询最近一年时，可以通过分区裁剪只扫描相关的365个分区目录。分桶策略：按`user_id`进行分桶，桶数设为合理值（如16或32）。分桶可以将用户分散到不同的文件中，且分桶表支持BucketMapJoin，优化Join操作。建表语句示例：```sqlCREATETABLEuser_behavior(user_idSTRING,item_idSTRING,behavior_typeSTRING,timestampBIGINT)PARTITIONEDBY(dtSTRING)CLUSTEREDBY(user_id)INTO32BUCKETSSTOREDASPARQUET;```(2)查询语句：```sqlSELECTitem_id,behavior_type,timestampFROMuser_behaviorWHEREuser_id='10001'ANDdt>='20231027'ANDdt<='20241027';--假设查询日期范围```(3)性能提升解释：分区裁剪：由于表按日期分区，Hive只需读取指定日期范围内的目录，大幅减少扫描文件数。列式存储：查询只涉及部分列，Parquet/ORC只读取这些列的数据，减少I/O。分桶：如果利用分桶，对于特定user_id的查询，Hive可以转换为任务只扫描特定的桶文件（前提是查询条件中有分桶键且使用了基于分桶的优化，虽然简单查询主要靠分区，但分桶有助于后续的Join分析）。谓词下推：存储格式引擎将过滤条件`user_id='10001'`下推到存储层，在读取数据时就过滤掉不满足条件的行，减少传输到Hive上层的数据量。53.【答案】(1)RowKey设计：原设计`SensorID_Timestamp`会导致同一传感器的数据连续写入，如果写入频繁，所有新数据都会落在最后一个Region（即热点Region）。优化设计：使用`Hash(SensorI