2026年大数据应用开发1+X模拟试题及答案

2026年大数据应用开发1+X模拟试题及答案一、单项选择题（每题2分，共20分）1.在Hadoop生态系统中，负责分布式文件系统存储的组件是（）。A.HBaseB.HDFSC.YARND.MapReduce答案：B解析：HDFS（HadoopDistributedFileSystem）是Hadoop的分布式文件系统，负责海量数据的存储。HBase是NoSQL数据库，YARN是资源调度器，MapReduce是计算框架。2.下列哪个组件是Hadoop的集群资源管理器？A.NameNodeB.DataNodeC.ResourceManagerD.NodeManager答案：C解析：YARN中ResourceManager负责整个集群资源的统一管理和调度，NodeManager是每个节点上的资源管理器，NameNode和DataNode属于HDFS。3.MapReduce中，负责将Map输出结果按照键值对进行分组并传递给Reduce阶段的过程称为（）。A.ShuffleB.SortC.PartitionD.Combiner答案：A解析：Shuffle包含分区、排序、合并、归并等步骤，是Map和Reduce之间的数据传输与整理过程。Combiner是可选优化，Partition是分区。4.在Hive中，用于创建表的语句是（）。A.CREATEDATABASEB.CREATETABLEC.CREATEINDEXD.CREATEVIEW答案：B解析：Hive中建表使用CREATETABLE语句，视图使用CREATEVIEW。5.关于HBase的说法，错误的是（）。A.HBase是列式存储数据库B.HBase支持SQL查询C.HBase适合存储非结构化和半结构化数据D.HBase基于HDFS存储答案：B解析：HBase是NoSQL数据库，不原生支持SQL，通常通过Phoenix等工具提供SQL接口。HBase是列族存储，适合海量稀疏数据。6.SparkSQL中，用于读取JSON文件为DataFrame的操作是（）。A.spark.read.json()B.spark.read.text()C.spark.read.parquet()D.spark.read.jdbc()答案：A解析：SparkSQL通过spark.read.json()读取JSON文件，返回DataFrame。7.Flume中，用于从指定目录中采集数据到HDFS的Source类型是（）。A.AvroSourceB.SpoolingDirectorySourceC.KafkaSourceD.NetCatSource答案：B解析：SpoolingDirectorySource监控一个目录，自动采集新文件。AvroSource用于接收Avro事件，KafkaSource用于从Kafka消费数据。8.Kafka中，一个主题可以被多个消费者组订阅，每个消费者组中的消费者分别负责不同的分区，这体现了Kafka的（）特性。A.消息持久化B.负载均衡C.消息回溯D.高吞吐答案：B解析：Kafka通过将分区分配给消费者组中的不同消费者来实现负载均衡，组内消费者并行消费。9.下列哪个命令用于查看HDFS目录下的文件列表？A.hdfsdfs-lsB.hdfsdfs-catC.hdfsdfs-mkdirD.hdfsdfs-put答案：A解析：-ls用于列出目录内容，-cat查看文件内容，-mkdir创建目录，-put上传本地文件。10.在大数据开发中，通常使用Scala语言编写Spark程序，下列关于Scala的说法正确的是（）。A.Scala是动态类型语言B.Scala兼容Java，可以调用Java库C.Scala不支持函数式编程D.Scala只能运行在JVM上答案：B解析：Scala是静态类型语言，兼容Java，支持函数式编程，运行在JVM上，但也可以编译为JavaScript或Native，因此D不完全正确。B是最佳选项。二、多项选择题（每题3分，共15分）1.以下哪些属于Hadoop生态系统的常见组件？（）A.ZookeeperB.KafkaC.SparkD.HiveE.Redis答案：A,B,C,D解析：Zookeeper用于分布式协调，Kafka用于消息队列，Spark用于分布式计算，Hive用于数据仓库，都属于Hadoop生态。Redis属于NoSQL缓存，通常不列为Hadoop生态核心组件。2.关于MapReduce的Combiner，下列说法正确的有（）。A.Combiner在Map端运行B.Combiner的输入输出类型必须与Mapper的输出类型一致C.Combiner可以替代ReducerD.Combiner可以提高网络传输效率E.Combiner可以任意使用，不影响最终结果答案：A,B,D解析：Combiner运行在Map端，对Map输出进行局部合并，减少网络传输量，其输入输出类型需一致，且不能影响最终结果。但Combiner不是对所有函数都适用，例如求平均值时不能简单使用，所以E错误；Combiner不能替代Reducer，C错误。3.Hive中支持的文件存储格式有（）。A.TextFileB.SequenceFileC.ParquetD.ORCE.JSON答案：A,B,C,D解析：Hive支持TextFile、SequenceFile、RCFile、ORC、Parquet等存储格式。JSON是一种数据格式，不是Hive存储格式。4.SparkStreaming中，常见的输入源包括（）。A.KafkaB.FlumeC.HDFSD.TCPSocketE.MySQL答案：A,B,C,D解析：SparkStreaming可以从Kafka、Flume、HDFS、Socket等实时数据源读取数据。MySQL通常作为输出端，不作为流式输入源。5.关于数据仓库的建模，下列说法正确的有（）。A.星型模型由一个事实表和多个维度表组成B.雪花模型是星型模型的变种，维度表可以继续分解C.事实表通常存储度量值和外键D.维度表通常包含描述性属性E.数据仓库只能使用关系型数据库答案：A,B,C,D解析：数据仓库可以使用Hive、Doris等非关系型或分布式系统，E错误。其余正确。三、判断题（每题1分，共10分）1.HDFS适合存储大量小文件，不适合存储大文件。（）答案：×解析：HDFS适合存储大文件，小文件会导致NameNode内存压力增大，不适合大量小文件。2.YARN中，ApplicationMaster负责任务的调度与监控。（）答案：√解析：YARN中ApplicationMaster负责与ResourceManager协商资源，并监控任务运行。3.MapReduce适合处理低延迟的实时计算任务。（）答案：×解析：MapReduce是批处理模型，延迟高，不适合实时计算。4.Hive的元数据存储在HDFS中。（）答案：×解析：Hive的元数据通常存储在关系型数据库中（如MySQL），数据存储在HDFS。5.HBase的行键设计对查询性能没有影响。（）答案：×解析：HBase按行键有序存储，行键设计直接影响查询性能，应避免热点。6.Kafka的消费者在消费消息时需要手动提交偏移量，否则消息会重复消费。（）答案：×解析：Kafka支持自动提交偏移量，也支持手动提交，是否重复消费取决于偏移量的提交方式和使用场景。7.Spark中的RDD是不可变的，但可以通过转换操作生成新的RDD。（）答案：√解析：RDD是不可变的分布式对象集合，转换操作产生新的RDD。8.Flume中的Event是数据传输的最小单元。（）答案：√解析：Flume将数据封装为Event，Event由Header和Body组成。9.Sqoop可以将关系型数据库中的数据导入到HDFS中。（）答案：√解析：Sqoop专门用于关系型数据库与Hadoop之间的数据迁移。10.数据清洗是数据预处理的重要步骤，主要包括缺失值处理、重复值处理、异常值处理等。（）答案：√四、简答题（每题5分，共25分）1.简述HDFS读写数据的主要流程。答案：读流程：客户端通过DistributedFileSystem向NameNode请求读取文件，NameNode返回文件的数据块位置列表（按距离排序），客户端选择最近的DataNode读取数据块，逐块读取并校验。写流程：客户端向NameNode请求创建文件，NameNode检查权限和配额后返回允许创建；客户端将数据切分成包（packet），向NameNode申请第一批数据块位置，按就近原则依次写入DataNode，每个DataNode收到数据后复制给下一个DataNode（流水线复制），写完所有数据后关闭流，NameNode提交文件。2.请比较MapReduce与Spark的优缺点。答案：MapReduce优点：编程模型简单，稳定性高，适合海量数据离线批处理，对硬件要求低。缺点：中间结果落盘导致大量磁盘I/O，延迟高，不适合迭代计算和实时计算。Spark优点：基于内存计算，速度快（比MapReduce快10~100倍），提供丰富的高级API（RDD、DataFrame、Streaming、MLlib），适合迭代计算、交互式查询和流处理。缺点：内存消耗大，在大规模集群上配置复杂，需要足够内存才能发挥优势。3.什么是数据倾斜？在Hive中如何解决数据倾斜问题？答案：数据倾斜是指数据分布不均，导致部分任务处理的数据量远大于其他任务，造成长尾效应。常见原因包括key分布不均、空值过多、聚合key设计不合理、小表join大表等。解决方案：（1）使用Hive的倾斜表（skewjoin）优化参数；（2）对空值或特殊key进行随机加盐，打散到不同reduce；（3）对key进行预处理，如过滤无效数据；（4）使用MapJoin或广播小表；（5）两阶段聚合，先局部聚合再全局聚合；（6）调整reduce个数或增加分区。4.简述Kafka的架构组成及消息消费原理。答案：Kafka架构包括Producer、Consumer、ConsumerGroup、Broker、Topic、Partition和Zookeeper（新版本中Zookeeper逐渐被KRaft替代）。Topic是消息的逻辑分类，每个Topic可分为多个Partition，Partition内消息有序，是物理存储单元。Producer将消息发送到指定Topic的Partition，采用轮询或key哈希策略。ConsumerGroup中的每个消费者负责消费一个或多个Partition，组内消费进度独立，消息被组内消费者共同消费，实现负载均衡；不同ConsumerGroup之间互不影响，实现广播。消费者通过拉取模型从Partition拉取消息，并维护偏移量（offset）来记录消费位置。5.简述HBase的存储模型，包括行键、列族、列限定符和时间戳。答案：HBase是分布式、面向列的NoSQL数据库。存储模型为：行键（RowKey）：唯一标识一行，按字典序排序，是查询的主键。列族（ColumnFamily）：列的逻辑分组，一个表可包含多个列族，列族在创建时定义，具有相同前缀的列属于同一列族。列限定符（ColumnQualifier）：列族内部的列标识，由列族名和限定符组成，例如info:name。时间戳（Timestamp）：每个单元格可以保存多个版本的数据，时间戳用于区分版本，按时间倒序排列。单元格（Cell）由行键+列族+列限定符+时间戳唯一确定，值（Value）为字节数组。五、综合应用题（每题15分，共30分）1.某电商平台每天产生大量用户行为日志，数据格式为JSON，包含字段：user_id（用户ID）、item_id（商品ID）、action（行为类型：view/cart/buy）、timestamp（时间戳，格式为yyyy-MM-ddHH:mm:ss）。日志文件存放在服务器的/data/logs/目录下，每天生成多个文件。现需要将这些日志实时采集到Kafka，然后通过SparkStreaming消费，并将结果写入HDFS进行离线分析。请设计技术方案，并写出关键代码或配置。答案：方案设计：（1）使用Flume监听/data/logs/目录，配置SpoolingDirectorySource，将新文件读取为Event；（2）通过KafkaSink将Event发送到Kafka主题user_log；（3）SparkStreaming从Kafka消费user_log主题，解析JSON数据，进行实时指标统计（如每分钟各行为类型次数），并将原始数据和统计结果写入HDFS（Parquet格式或Text格式）；（4）离线分析可使用Hive或SparkSQL读取HDFS中的结果。Flume配置（perties）：```propertiesagent.sources=spoolagent.channels=chagent.sinks=kafkaSinkagent.sources.spool.type=spooldiragent.sources.spool.spoolDir=/data/logsagent.sources.spool.fileSuffix=.COMPLETEDagent.sources.spool.ignorePattern=^.\\.COMPLETEDaagent.sources.spool.channel=chagent.channels.ch.type=memoryagent.channels.ch.capacity=10000agent.channels.ch.transactionCapacity=5000agent.sinks.kafkaSink.type=org.apache.flume.sink.kafka.KafkaSinkagent.sinks.kafkaSink.kafka.topic=user_logagent.sinks.kafkaSink.kafka.bootstrap.servers=kafka1:9092,kafka2:9092agent.sinks.kafkaSink.kafka.flumeBatchSize=100agent.sinks.kafkaSink.channel=ch```SparkStreaming代码（Scala）关键部分：```scalavalconf=newSparkConf().setAppName("UserLogStreaming")valssc=newStreamingContext(conf,Seconds(60))valkafkaParams=Map[String,Object]("bootstrap.servers"->"kafka1:9092,kafka2:9092","key.deserializer"->classOf[StringDeserializer],"value.deserializer"->classOf[StringDeserializer],"group.id"->"user_log_group")valtopics=Set("user_log")valstream=KafkaUtils.createDirectStream[String,String](ssc,PreferConsistent,Subscribe[String,String](topics,kafkaParams))vallines=stream.map(_.value())valjsonDF=lines.map{line=>valobj=JSON.parseObject(line)(obj.getString("user_id"),obj.getString("item_id"),obj.getString("action"),obj.getString("timestamp"))}.foreachRDD{rdd=>valdf=rdd.toDF("user_id","item_id","action","timestamp")df.write.mode("append").parquet("/data/hive/warehouse/user_log")}valcountDStream=lines.map{line=>valobj=JSON.parseObject(line)(obj.getString("action"),1L)}.reduceByKey(_+_)countDStream.foreachRDD{rdd=>rdd.coalesce(1).saveAsTextFile("/data/real_time_result/action_count")}ssc.start()ssc.awaitTermination()```说明：上述代码中foreachRDD内写入HDFS，实际生产建议使用SparkSQL的流式写入（如DataStreamWriter）或使用saveAsTextFile按批次输出，注意控制小文件数量。2.某企业有一个用户交易数据表，存储在Hive中，表名为ods_trade，字段包括：trade_id（交易ID）、user_id（用户ID）、amount（交易金额）、trade_time（交易时间，格式yyyy-MM-ddHH:mm:ss）。请编写HiveSQL完成以下需求：（1）统计每个用户的总交易金额、交易次数、最大单笔金额、平均单笔金额。（2）统计每日总交易金额和交易笔数。（3）找出交易金额最高的前10个用户。（4）对交易金额进行分箱统计：0-100元、100-1000元、1000-5000元、5000元以上各有多少笔交易。（5）假设需要将结果存储到MySQL数据库中，请简述使用Sqoop导出的命令。答案：（1）```sqlSELECTuser_id,SUM(amount)AStotal_amount,COUNT()AStrade_count,COUNT()AStrade_count,MAX(amount)ASmax_amount,AVG(amount)ASavg_amountFROMods_tradeGROUPBYuser_id;```（2）```sqlSELECTSUBSTRING(trade_time,1,10)AStrade_date,SUM(amount)AStotal_amount,COUNT()AStrade_countCOUNT()AStrade_countFROMods_tradeGROUPBYSUBSTRING(trade_time,1,10);```（3）```sqlSELECTuser_id,SUM(amount)AStotal_amountFROMod