2026年大数据工程师初级理论模拟考试试卷及答案

2026年大数据工程师初级理论模拟考试试卷及答案一、单项选择题（本大题共30小题，每小题1.5分，共45分。在每小题列出的四个备选项中只有一个是符合题目要求的，请将其代码填在题后的括号内。）1.在Hadoop生态系统中，负责资源管理和调度的组件是（）。A.HDFSB.MapReduceC.YARND.ZooKeeper2.HDFS默认的块大小（BlockSize）在Hadoop2.x版本中通常设置为（）。A.64MBB.128MBC.256MBD.512MB3.下列关于MapReduce中Shuffle阶段的描述，错误的是（）。A.Shuffle阶段负责将Map端的输出分发到Reduce端B.Shuffle阶段包含Map端的溢写和Merge，以及Reduce端的Copy和MergeC.Shuffle过程发生在Map任务全部结束之后才开始D.Shuffle是MapReduce性能优化的关键环节4.在Spark中，RDD（ResilientDistributedDataset）的特性不包括（）。A.弹性B.分布式C.可变D.只读5.Hive中，内部表（ManagedTable）和外部表（ExternalTable）的主要区别在于（）。A.存储格式不同B.查询语法不同C.删除表时是否删除元数据和HDFS上的数据D.分区方式不同6.Kafka中，Topic是消息的逻辑分类，Partition是Topic的物理分片。Partition的主要作用是（）。A.消息加密B.提高并发读写能力和实现负载均衡C.消息压缩D.保证消息严格有序7.下列哪个命令用于在HDFS中查看文件内容？（）A.hdfsdfs-lsB.hdfsdfs-catC.hdfsdfs-copyFromLocalD.hdfsdfs-mkdir8.在Flume中，负责从数据源收集数据的组件是（）。A.SourceB.ChannelC.SinkD.Interceptor9.HBase是基于列式存储的分布式数据库，其数据在物理存储上是按照（）排序存储的。A.RowKeyB.ColumnFamilyC.ColumnQualifierD.Timestamp10.SparkSQL中，将DataFrame注册为临时视图的常用方法是（）。A.createTempViewB.registerTableC.saveAsTableD.insertInto11.下列关于ZooKeeper的描述，正确的是（）。A.ZooKeeper是一个文件系统B.ZooKeeper主要用于存储大量数据C.ZooKeeper通过ZAB协议保证数据一致性D.ZooKeeper不支持Watcher监听机制12.在Scala中，下列哪种数据结构是不可变的？（）A.ListB.ArrayBufferC.ListBufferD.HashMap13.MapReduce计算模型中，默认的InputFormat类是（）。A.TextInputFormatB.KeyValueTextInputFormatC.SequenceFileInputFormatD.CombineFileInputFormat14.Spark作业提交时，用于指定Driver运行模式的参数是（）。A.--masterB.--deploy-modeC.--executor-memoryD.--total-executor-cores15.HDFS中，SecondaryNameNode的作用是（）。A.作为热备节点，当NameNode故障时立即接管B.辅助NameNode合并FsImage和Edits日志，减少NameNode启动时间C.负责DataNode之间的数据负载均衡D.存储HDFS的元数据副本16.在关系型数据库理论中，满足3NF（第三范式）的表必须先满足（）。A.1NF和2NFB.BCNFC.4NFD.5NF17.下列关于Hive分区表的描述，错误的是（）。A.分区表本质上是在HDFS目录结构下创建子目录B.分区列不是表中实际存在的字段，而是虚拟列C.分区可以减少查询的数据量，提高效率D.动态分区插入时，默认是非严格模式18.SparkRDD的算子中，属于Transformation（转换）算子的是（）。A.countB.saveAsTextFileC.foreachD.map19.下列哪种压缩算法在Hadoop生态中通常用于支持Split（切分），以便MapReduce可以并行处理？（）A.GzipB.LZOC.SnappyD.Bzip220.在Scala中，定义一个单例对象使用的关键字是（）。A.classB.traitC.objectD.enum21.HBase中，为了提高读取性能，通常会将频繁访问的数据存储在内存中，这对应于（）。A.BlockCacheB.MemStoreC.WriteAheadLog(WAL)D.HFile22.Redis中，支持过期时间且最常用的数据结构是（）。A.StringB.HashC.ListD.Set23.下列关于Flink与SparkStreaming的区别，描述正确的是（）。A.Flink是真正的流处理引擎，基于事件驱动；SparkStreaming基于微批处理B.SparkStreaming延迟低于FlinkC.Flink不支持Exactly-Once语义D.两者状态管理机制完全相同24.在Linux系统中，查看当前进程占用CPU和内存情况的命令是（）。A.psB.topC.netstatD.df25.在数据仓库建模中，星型模型和雪花模型的主要区别在于（）。A.事实表的结构不同B.维度表是否规范化C.是否支持OLAP分析D.存储的数据量不同26.Spark中，BroadCastVariable（广播变量）的主要作用是（）。A.在Executor之间高效共享只读的大变量B.在Driver和Executor之间共享可写变量C.用于累加器统计D.用于RDD的持久化27.下列SQL语句中，用于计算排名的窗口函数是（）。A.ROW_NUMBER()B.SUM()C.AVG()D.GROUP_CONCAT()28.Hadoop集群中，DataNode之间默认的数据传输端口是（）。A.50070B.8020C.50010D.900029.在Scala中，高阶函数是指（）。A.返回值类型为Int的函数B.参数是函数或返回值是函数的函数C.只有在高层级类中定义的函数D.执行效率很高的函数30.下列关于数据倾斜的描述及解决方案，错误的是（）。A.数据倾斜会导致个别Reduce任务运行时间过长，拖慢整个作业B.可以通过开启Map端聚合来缓解数据倾斜C.只能通过增加ReduceTask的数量来解决数据倾斜D.可以将Key加上随机前缀进行打散处理二、多项选择题（本大题共15小题，每小题2分，共30分。在每小题列出的五个备选项中有两个或两个以上是符合题目要求的，请将其代码填在题后的括号内。多选、少选、错选均不得分。）31.HDFS的高可用（HA）机制通常涉及哪些组件？（）A.ActiveNameNodeB.StandbyNameNodeC.JournalNodeD.ZooKeeperE.DataNode32.下列哪些是Spark中RDD的持久化级别？（）A.MEMORY_ONLYB.MEMORY_AND_DISKC.DISK_ONLYD.NONEE.MEMORY_AND_DISK_SER33.MapReduce的Reduce阶段主要执行哪些操作？（）A.ShuffleB.SortC.Reduce函数逻辑D.Map函数逻辑E.Split34.Hive中支持的数据存储格式有哪些？（）A.TextFileB.SequenceFileC.RCFileD.ORCE.Parquet35.Flume架构中，Channel的类型有哪些？（）A.MemoryChannelB.FileChannelC.KafkaChannelD.JDBCChannelE.HDFSChannel36.Scala中，下列哪些集合类型是可变的？（）A.scala.collection.immutable.ListB.scala.collection.mutable.ArrayBufferC.scala.collection.mutable.SetD.scala.collection.immutable.MapE.scala.collection.mutable.ListBuffer37.Kafka生产者发送消息的方式有哪些？（）A.发送并忘记B.同步发送C.异步发送D.事务发送E.广播发送38.HBase的RowKey设计原则包括哪些？（）A.长度原则（尽量短）B.散列原则（避免热点）C.唯一性原则D.排序原则（利用字典序）E.可为空原则39.下列关于SparkDAGScheduler的描述，正确的有？（）A.负责将Job划分为多个StageB.根据RDD之间的依赖关系划分StageC.宽依赖会划分新的StageD.窄依赖会被划分到同一个StageE.直接向ClusterManager申请资源40.LinuxShell脚本中，常用的循环结构有哪些？（）A.forB.whileC.untilD.loopE.do-while41.数据清洗的主要任务包括哪些？（）A.缺失值处理B.重复值处理C.异常值处理D.数据规范化E.数据语义分析42.下列哪些工具属于Hadoop生态系统的实时计算框架？（）A.SparkB.FlinkC.StormD.MapReduceE.Hive43.在SQL中，关于JOIN操作，下列描述正确的有？（）A.InnerJoin只返回两个表中连接字段匹配的行B.LeftJoin返回左表所有行，右表没有匹配的则为NULLC.FullOuterJoin返回左右表所有的行D.CrossJoin返回笛卡尔积E.SelfJoin是表与其自身进行连接44.SparkStreaming中，常用的算子有哪些？（）A.updateStateByKeyB.reduceByKeyAndWindowC.mapWithStateD.foreachRDDE.print45.调优Hadoop集群时，可以调整哪些参数？（）A.dfs.replication（副本数）B.mapreduce.reduce.memory.mbC.yarn.scheduler.minimum-allocation-mbD.dfs.blocksizeE.io.sort.mb三、判断题（本大题共15小题，每小题1分，共15分。请判断下列各题的正误，正确的在括号内打“√”，错误的打“×”。）46.HDFS文件被切分为Block存储，每个Block默认存储在同一个DataNode上，不进行副本存储。（）47.Spark中的Action算子会触发Job的提交，而Transformation算子是懒执行的。（）48.Hive的元数据默认存储在Derby数据库中，生产环境中通常推荐使用MySQL。（）49.Kafka消费者组中的所有消费者都会消费Topic下的所有Partition消息。（）50.Scala是纯面向对象的语言，也是函数式编程语言。（）51.HBase支持复杂的SQL查询，因此适合替代传统关系型数据库。（）52.LZO压缩算法压缩率高，但压缩速度较慢，通常用于冷数据归档。（）53.FlumeSource、Channel、Sink之间的数据传输必须是事务性的，以保证数据不丢失。（）54.SparkRDD的cache()方法默认将数据缓存在内存中。（）55.在Linux中，chmod755file.txt表示文件所有者拥有读写执行权限，组用户和其他用户拥有读执行权限。（）56.MapReduce中，Combiner组件是可选的，其运行逻辑必须与Reducer完全一致。（）57.Redis不仅可以用作缓存，还可以用作消息队列和分布式锁。（）58.Flink的Time语义中，EventTime是指数据进入Flink的时间。（）59.数据仓库（DW）是面向主题的、集成的、相对稳定的、反映历史变化的数据集合。（）60.在Hive中，ORDERBY会对全局数据进行排序，因此必须触发一个Reduce任务。（）四、填空题（本大题共10小题，每小题1分，共10分。请将答案写在题中的横线上。）61.HadoopHDFS采用___________架构，其中NameNode管理元数据，DataNode存储实际数据块。62.Spark中，两个RDD之间的依赖关系分为窄依赖和___________。63.在Scala中，如果要定义一个函数变量，其类型标注格式为：参数列表=>___________。64.Kafka中，___________机制用于保证同一个消费者组内，一个Partition只能被组内一个消费者消费。65.HBase中，___________是RegionServer上的缓存，用于写操作，满足一定条件后Flush为磁盘文件。66.正则表达式中，匹配数字字符（0-9）的符号是___________。67.Linux中，用于查找文件中包含特定内容行数的命令是___________。68.MapReduce中，Map任务的输入分块大小通常由___________决定。69.在HiveSQL中，___________子句用于对分组后的结果进行条件过滤，类似于WHERE。70.数据结构中，栈的特性是___________，即最后插入的元素最先被删除。五、简答题（本大题共4小题，每小题5分，共20分。）71.简述HDFS的读写流程（以读流程为例）。72.请列举Spark中解决数据倾斜的常用方法（至少三种）。73.简述CAP定理，并说明在NoSQL数据库中如何权衡。74.解释Scala中的Trait（特质）与Java中的Interface（接口）的区别。六、综合分析与应用题（本大题共3小题，每小题10分，共30分。）75.SQL应用题：现有两张表：学生表：student(idINT,nameSTRING,class_idINT)成绩表：score(student_idINT,subject_idINT,scoreINT)请写出HiveSQL语句完成以下需求：(1)查询每个班级的平均分。(2)查询总分排名前3的学生姓名和总分。(3)查询每门课程（subject_id）的最高分学生信息。76.SparkRDD编程题：假设有一个RDD`rdd`，其中的元素为大量的英文单词（String类型），单词之间可能包含标点符号。请写出Scala代码（或伪代码），利用SparkRDD实现以下功能：(1)数据清洗：去除所有标点符号，并将单词统一转为小写。(2)统计：计算每个单词出现的频次（WordCount）。(3)输出：将结果按照词频降序排序，取前10个打印。77.架构设计题：某电商公司需要实时统计用户的下单行为，数据来源包括Web端的日志和App端的埋点日志，数据量巨大（TB级/天）。要求实现低延迟（秒级）的统计，并能够将处理后的结果存储到HDFS中供离线分析，同时存储到MySQL中供前台大屏展示。请设计一套完整的大数据处理架构，并说明每个组件的作用。要求：画出简单的架构图（文字描述组件流向即可），并解释关键技术点的选型理由（如Kafka、Flume/Kafka、Spark/Flink等）。参考答案及解析一、单项选择题1.C2.B3.C4.C5.C6.B7.B8.A9.A10.A11.C12.A13.A14.B15.B16.A17.B18.D19.D20.C21.A22.A23.A24.B25.B26.A27.A28.C29.B30.C二、多项选择题31.ABCDE32.ABCE33.ABC34.ABCDE35.ABC36.BCE37.ABCD38.ABCD39.ABCD40.ABC41.ABCD42.BC43.ABCDE44.ABCDE45.ABCDE三、判断题46.×（解析：Block会有副本，默认3个，存储在不同的DataNode上。）47.√48.√49.×（解析：一个Partition只能被组内一个Consumer消费，而非所有消费者。）50.√51.×（解析：HBase不支持复杂SQL，不支持多表Join，不适合替代RDBMS。）52.×（解析：LZO特点是压缩/解压速度快，但压缩率一般；Gzip压缩率高但速度慢。）53.√54.√55.√56.×（解析：Combiner逻辑通常与Reducer一致，但不是必须，且使用场景有限制。）57.√58.×（解析：EventTime是事件产生的时间；IngestionTime是进入Flink的时间。）59.√60.√四、填空题61.Master/Slave62.宽依赖63.返回值类型64.分区65.MemStore66.\d67.grep68.InputSplit大小（通常等于HDFSBlock大小）69.HAVING70.后进先出(LIFO)五、简答题71.HDFS读流程：(1)客户端调用DistributedFileSystem的open()方法，打开文件。(2)RPC调用NameNode，获取文件开始部分的Block位置信息。(3)客户端创建FSDataInputStream，通过流式读取数据。(4)读取时，客户端连接到持有第一个Block副本的DataNode。(5)数据从DataNode流式传输回客户端。(6)当当前Block读取完毕，客户端会关闭连接，并寻找下一个Block的最近DataNode继续读取。(7)读取完毕后，调用close()方法关闭流。72.Spark解决数据倾斜的方法：(1)提高并行度：调整spark.sql.shuffle.partitions或RDD的repartition数量，使数据分散到更多ReduceTask。(2)广播变量：如果是Join倾斜，将小表广播出去，避免Shuffle。(3)两阶段聚合（局部聚合+全局聚合）：先在Map端进行局部聚合，再在Reduce端聚合。(4)加盐：给倾斜的Key加上随机前缀（0-N），将其打散到N个Task中处理，最后去除前缀并聚合。(5)采样扩容：针对热点Key单独采样处理，分配独立资源。73.CAP定理：CAP指一致性、可用性和分区容错性。定理指出：在分布式系统中，无法同时满足这三项，最多只能同时满足两项。权衡：在NoSQL中，由于网络分区是必然存在的，通常需要在CP和AP之间权衡。CP架构（如HBase）：保证一致性和分区容错性。当分区发生时，系统可能拒绝访问以保证数据一致性，牺牲了部分可用性。AP架构（如Cassandra,DynamoDB）：保证可用性和分区容错性。当分区发生时，系统仍提供服务，但可能返回旧数据，牺牲了强一致性（最终一致性）。74.ScalaTraitvsJavaInterface：(1)实现：Trait可以包含抽象方法，也可以包含具体实现（即方法的代码体）；Java8之前的Interface只能包含抽象方法（Java8引入default方法后类似，但Trait功能更强大）。(2)字段：Trait可以包含具体字段（val/var），而Interface不能包含实例字段（只能是staticfinal常量）。(3)混入：类可以混入多个Trait，解决单继承问题；Java类可以实现多个接口。(4)构造顺序：Trait有构造代码（在字段初始化和方法体中），混入时有特定的线性化构造顺序。六、综合分析与应用题75.SQL应用题：(1)查询每个班级的平均分：```sqlSELECTs.class_id,AVG(sc.score)ASavg_scoreFROMstudentsJOINscorescONs.id=sc.student_idGROUPBYs.class_id;```(2)查询总分排名前3的学生姓名和总分：```sqlSELECT,total.total_scoreFROM(SELECTstudent_id,SUM(score)AStotal_scoreFROMscoreGROUPBYstudent_idORDERBYtotal_scoreDESCLIMIT3)totalJOINstudentsONtotal.student_id=s.id;```(3)查询每门课程的最高分学生信息：```sqlSELECTt.subject_id,,t.max_scoreFROM(SELECTsubject_id,MAX(score)ASmax_scoreFROMscoreGROUPBYsubject_id)tJOINscorescONt.subject_id=sc.subject_idANDt.max_score=sc.scoreJOINstudentsONsc.student_id=s.id;```76.SparkRDD编程题：```scalaimportorg.apache.spark.{SparkConf,SparkContext}objectWordCountApp{defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName("WordCount").setMaster("local[*]")valsc=newSparkContext(conf)valrdd=sc.textFile("hdfs://...")//假设这是输入RDDvalresult=rdd//(1)数据清洗：去除标点，转小写，扁平化.flatMap(line=>line.replaceAll("[^a-zA-Z]","").split("\\s+")).map(word=>word.toLowerCase).filter(word=>word.nonEmpty)//过滤空串//(2)统计词频.map(word=>(word,1)).reduceByKey(_+_)//(3)降序取前10.map(pair=>(pair._2,pair._1))//交换key和value以便按value排序.sortByKey(a