计算机岗大数据技术及解析

计算机岗大数据技术及解析考试时间：______分钟总分：______分姓名：______一、单项选择题1.HDFS中，默认的块大小是多少？A.64MBB.128MBC.256MBD.512MB2.关于HDFS的副本放置策略，下列说法正确的是？A.第一个副本放在本地节点B.第二个副本放在随机节点C.第三个副本放在不同机架的节点D.所有副本都放在同一个机架的不同节点上3.NameNode在HDFS架构中主要承担什么角色？A.数据存储B.资源调度C.文件系统命名空间管理D.数据块计算4.在YARN中，ResourceManager的主要功能是？A.运行MapReduce任务B.管理各个NodeManager的资源C.负责处理用户的请求D.负责HDFS的读写操作5.MapReduce中，Shuffle阶段主要完成什么工作？A.Map任务的输入读取B.Map函数的执行C.数据的分发与排序D.Reduce任务的输出写入6.下列哪个算子属于Transformation（转换算子）？A.collectB.saveAsTextFileC.mapD.count7.Spark中，RDD（弹性分布式数据集）不具备以下哪个特性？A.分区列表B.依赖关系C.计算函数D.固定大小的内存存储8.在SparkSQL中，DataFrame与RDD的主要区别是？A.DataFrame不支持类型信息B.DataFrame提供了更多优化的执行计划C.DataFrame不支持并行计算D.DataFrame只能处理结构化数据9.Hive中，为了避免小文件过多对NameNode造成压力，通常采取的策略是？A.增加MapTask数量B.设置Hive合并小文件参数C.减少ReduceTask数量D.增加HDFS副本数10.关于Hive的分区，下列说法错误的是？A.分区是表的一个逻辑部分B.分区对应一个真实的目录C.分区字段不能是复杂类型D.分区可以加速查询速度11.在MapReduce中，Combiner组件的作用是？A.加速Map阶段的处理速度B.对Map输出的数据进行局部聚合C.负责数据的排序D.负责数据的压缩12.Hadoop发行版中，哪个组件通常用于协调分布式环境中的服务？A.ZooKeeperB.HBaseC.FlumeD.Sqoop13.SparkStreaming中，DStream（离散流）代表什么？A.一个持续不断的RDD序列B.一个固定的RDDC.一个MapReduce任务D.一个数据库连接14.下列哪个参数控制Spark的并行度？A.spark.default.parallelismB.mapreduce.job.reducesC.hive.exec.reducers.bytes.per.reducerD.dfs.blocksize15.在Hive中，使用LEFTSEMIJOIN时，下列说法正确的是？A.Join条件必须包含在ON子句中B.结果集只包含左表C.结果集只包含右表D.Join条件可以出现在WHERE子句中16.关于数据仓库的分层架构，ODS层通常被称为？A.明细层B.汇总层C.应用层D.基础层17.Spark中，persist()和cache()方法的主要区别在于？A.cache()会自动将RDD写入磁盘B.persist()允许指定存储级别C.persist()只能存储在内存D.cache()是persist()的别名，无区别18.Kafka中，Partition的分区器默认使用的是？A.HashPartitionerB.CustomPartitionerC.DefaultPartitionerD.RangePartitioner19.在分布式系统中，CAP定理指的是？A.一致性、可用性、分区容错性B.连接性、可用性、持久性C.复制性、可用性、持久性D.一致性、完整性、可用性20.HBase中，RowKey的设计对性能影响很大，通常建议？A.RowKey越长越好B.RowKey越短越好C.RowKey应该遵循基数高且有序的原则D.RowKey应该使用UUID生成21.下列哪个组件主要用于采集日志数据？A.KafkaB.FlumeC.SqoopD.ZooKeeper22.SparkCore中，Action算子触发作业执行，下列属于Action算子的是？A.mapB.filterC.reduceByKeyD.collect23.Hive中，当数据量很大且Join的一张表较小的时候，优化方案是？A.使用SortMergeJoinB.使用MapJoinC.使用BucketJoinD.增加ReduceTask数量24.在MapReduce中，Map阶段输出的Key和Value类型必须与Reducer的输入类型一致吗？A.是的，必须完全一致B.不一定，可以自定义Writable类型转换C.Map输出必须是String类型D.Reduce输入必须是IntWritable类型25.Spark中，SparkContext是应用程序的入口点，它主要完成什么功能？A.加载数据B.初始化Spark运行环境C.执行SQL语句D.管理内存26.关于HDFS的数据完整性，下列说法正确的是？A.数据块在写入时会自动校验B.NameNode负责校验所有数据块C.数据块校验失败时，DataNode会自动从另一个副本恢复D.HDFS不提供数据完整性校验27.YARN中，NodeManager向ResourceManager汇报什么信息？A.作业进度B.资源使用情况和容器状态C.节点健康状况D.节点负载情况28.在SparkSQL中，使用DataFrameAPI时，通常需要导入什么包？A.org.apache.spark.sql.functionsB.org.apache.spark.mllibC.org.apache.hadoop.mapreduceD.org.apache.spark.streaming29.Hive中，CTAS（CreateTableAsSelect）语句会创建哪些对象？A.只有表B.只有视图C.表和索引D.表和分区30.SparkStreaming中，微批处理（Micro-batch）模式的处理延迟通常在什么量级？A.毫秒级B.秒级C.分钟级D.小时级31.关于Spark的容错机制，下列说法正确的是？A.RDD通过记录血统来恢复数据B.RDD一旦丢失，必须重新从源文件读取C.只有Action算子执行失败才会触发重试D.Checkpoint不会清除血统32.在大数据开发中，数据倾斜通常发生在？A.Map阶段B.Shuffle阶段C.Reduce阶段D.数据采集阶段33.下列哪个工具通常用于将关系型数据库的数据导入Hadoop？A.FlumeB.KafkaC.SqoopD.ZooKeeper34.HBase中，RegionServer主要负责？A.管理元数据B.管理Region的划分、合并和负载均衡C.处理客户端的读写请求D.管理Zookeeper连接35.在Spark中，如何查看RDD的依赖关系？A.rdd.count()B.rdd.toDebugString()C.rdd.collect()D.rdd.saveAsTextFile()36.Hive中，当查询条件中包含大量OR操作时，性能通常会下降，原因是？A.优化器无法生成高效的执行计划B.数据量变大C.网络传输变慢D.内存不足37.MapReduce中，InputFormat的作用是？A.将输入数据切分为InputSplitB.将Key和Value转换为可读格式C.处理Mapper的输出D.负责Reduce阶段的输出38.Spark中，action算子触发作业后，会生成一个DAG（有向无环图），DAGScheduler的作用是？A.将DAG划分为多个StageB.分配Task给ExecutorC.管理内存D.处理网络IO39.在分布式文件系统中，副本系数设置过高会带来什么问题？A.降低存储成本B.增加写入延迟C.增加NameNode内存压力D.简化管理40.关于Flink和SparkStreaming的区别，下列说法错误的是？A.Flink是真正的流处理引擎B.SparkStreaming是微批处理C.Flink支持精确一次语义D.SparkStreaming不支持状态管理二、多项选择题1.下列哪些是HDFS的特点？A.高容错性B.高吞吐量C.适合大文件存储D.实时写入2.在MapReduce编程模型中，Mapper阶段可以使用的输出类型有哪些？A.<key1,value1>B.<key2,value2>C.<key3>D.<key4,value4,value5>3.SparkRDD的依赖关系分为哪两类？A.窄依赖B.宽依赖C.单向依赖D.循环依赖4.下列哪些是Hive中常用的表类型？A.MANAGED_TABLEB.EXTERNAL_TABLEC.VIRTUAL_TABLED.VIEW5.关于Hive的分区表，以下说法正确的有？A.分区列不是表中的一个真正的列B.分区列的值决定了数据存储在哪个目录下C.分区可以提高查询效率D.一个表只能有一个分区6.Spark中，常用的Transformation算子包括哪些？A.mapB.flatMapC.reduceByKeyD.collect7.在YARN架构中，NodeManager的功能包括？A.监控资源使用情况B.启动ContainerC.跟踪节点健康状况D.负责HDFS的读写8.下列哪些是大数据处理流程中的常见组件？A.HDFSB.HiveC.SparkD.MySQL9.关于SparkSQL，下列说法正确的有？A.它可以将结构化数据作为RDD处理B.它支持HiveQLC.它可以执行SQL查询D.它只能处理JSON格式的数据10.在HBase中，以下哪些操作可以触发Region的分裂？A.插入数据B.删除数据C.更新数据D.扫描数据三、简答题1.请简述HDFS的写入流程，并解释NameNode在写入过程中的主要作用。2.请详细描述Spark中RDD的依赖关系，并解释窄依赖和宽依赖的区别。3.简述Hive的分区与分桶的区别，以及在实际开发中各自的应用场景。4.请解释什么是数据倾斜，并列举至少两种解决MapReduce或Spark中数据倾斜的方案。5.简述HadoopYARN的架构组成，并说明ResourceManager和NodeManager各自的主要职责。四、编程与SQL分析题1.请使用SparkSQL编写代码，实现将两张表（TableA和TableB）进行内连接，并过滤出TableA中年龄大于25岁的用户信息。若TableA中有用户ID为空的情况，请先进行过滤。请写出完整的代码逻辑（伪代码或Scala/Python）。试卷答案一、单项选择题1.B解析：HDFS的默认块大小在Hadoop2.x及之后版本中为128MB。64MB是Hadoop1.x的默认值。2.A、B、C解析：HDFS副本放置策略为：第一个副本放在本地节点；第二个副本放在随机节点；第三个副本放在不同机架的节点。D选项错误，因为第三个副本通常不在同一个机架上，以防止机架故障导致数据丢失。3.C解析：NameNode负责管理文件系统的命名空间和元数据（文件目录树、权限、数据块位置等），不负责实际数据块的存储或计算。4.B解析：ResourceManager是YARN的中央调度器，负责管理集群资源、调度应用程序。它不直接运行任务，任务由NodeManager启动的Container运行。5.C解析：Shuffle是MapReduce中Map端输出到Reduce端输入之间的数据传输过程，包含分区、排序、溢写等步骤。6.C解析：`map`是转换算子（Transformation），`collect`、`saveAsTextFile`、`count`是行动算子（Action）。7.D解析：RDD的存储级别是灵活的，可以存储在内存、磁盘、堆外内存等，且根据内存情况自动降级，不具备“固定大小”的特性。8.B解析：DataFrame是SparkSQL对结构化数据的抽象，它比RDD更高级，底层使用了Tungsten执行引擎和Catalyst优化器，提供了更多优化。9.B解析：设置`hive.merge.mapfiles`和`hive.merge.mapredfiles`参数可以在Hive输出文件时自动合并小文件，减轻NameNode压力。10.C解析：Hive的分区字段可以是基本数据类型，也可以是复杂类型（如Array、Map、Struct），C选项错误。11.B解析：Combiner在Map端对数据进行局部聚合（如求和、计数），减少网络传输数据量，提升MapReduce性能。12.A解析：ZooKeeper是一个高可用的分布式协调服务，用于管理配置信息、命名服务、分布式同步和组服务。13.A解析：DStream是SparkStreaming对实时数据流的抽象，本质上是一个连续的RDD序列。14.A解析：`spark.default.parallelism`是控制Spark任务默认并行度的参数。15.B解析：LEFTSEMIJOIN的结果只包含左表中满足条件的行，且Join条件必须在ON子句中，不能在WHERE子句中。16.A解析：ODS层（OperationalDataStore）通常保留原始数据，不做任何修改，接近源数据结构。17.B解析：`persist()`允许指定存储级别（内存、磁盘等），`cache()`是`persist(MEMORY_ONLY)`的简写。18.C解析：Kafka默认的分区器是`DefaultPartitioner`，使用Hash算法将Key哈希到分区上。19.A解析：CAP定理指出分布式系统在一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance）三者中只能同时满足两点。20.C解析：HBase的RowKey设计应遵循“基数高且有序”的原则，以便利用LSM-Tree的压缩机制和Scan性能。21.B解析：Flume主要用于采集日志等流式数据。22.D解析：`collect`会将RDD的所有数据拉取到Driver端，是一个Action算子，会触发作业执行。23.B解析：小表Join大表时，使用MapJoin（广播Join）可以将小表加载到内存中，避免Shuffle，性能最佳。24.B解析：MapReduce中，Map的输出类型可以自定义，只要与Reducer的输入类型兼容即可，不要求完全一致。25.B解析：SparkContext是应用程序的入口，负责初始化Spark运行环境，创建RDD、累加器等。26.A解析：HDFS采用校验和机制，DataNode在写入时会计算校验和，读取时会验证，确保数据完整性。27.B解析：NodeManager向ResourceManager汇报容器状态和资源使用情况。28.A解析：DataFrameAPI开发通常需要导入`org.apache.spark.sql.functions`以使用丰富的函数库。29.C解析：CTAS（CreateTableAsSelect）会创建表，并创建相应的索引（如果配置了）或收集统计信息。30.B解析：SparkStreaming基于微批处理，处理延迟通常在秒级，而Flink是毫秒级。31.A解析：RDD通过记录血统（Lineage）来记录其依赖关系。如果数据丢失，可以通过血统重新计算恢复。32.B、C解析：数据倾斜通常发生在Shuffle阶段，具体表现为某个ReduceTask处理的数据量远大于其他Task。33.C解析：Sqoop主要用于在关系型数据库（如MySQL）与Hadoop（HDFS/Hive/HBase）之间进行数据传输。34.C解析：RegionServer负责处理客户端的读写请求，并负责管理所属Region的分割和合并。35.B解析：`toDebugString()`可以查看RDD的依赖关系、分区等信息。36.A解析：Hive的优化器对包含大量OR条件的查询难以生成高效的执行计划，通常会将其转换为IN查询或UnionALL。37.A解析：InputFormat负责将输入数据切分为InputSplit，并读取数据产生Key-Value对供Mapper使用。38.A解析：DAGScheduler将DAG划分为多个Stage（Stage分为ShuffleMapStage和ResultStage），并提交给TaskScheduler。39.C解析：副本系数过高会增加NameNode的内存压力（需要存储大量元数据）和存储成本，降低写入延迟（因为更多副本可并发写）。40.D解析：SparkStreaming确实支持状态管理（如updateStateByKey），只是其延迟较高。二、多项选择题1.A、B、C解析：HDFS设计为高容错性（多副本）、高吞吐量（适合大文件顺序读写），但不适合低延迟的实时写入。2.A、B、C、D解析：Mapper的输出类型完全由用户定义，可以是任意类型的Key和Value。3.A、B解析：RDD依赖分为窄依赖（父RDD分区数<=子RDD分区数）和宽依赖（父RDD分区数<子RDD分区数，发生Shuffle）。4.A、B、D解析：Hive表类型包括内部表（MANAGED_TABLE）、外部表（EXTERNAL_TABLE）和视图（VIEW），没有VIRTUAL_TABLE。5.A、B、C解析：分区是逻辑概念，对应物理目录；分桶是物理概念，对应文件内部的数据分布。一个表可以有多个分区，一个分区也可以有多个桶。6.A、B、C解析：`map`、`flatMap`、`reduceByKey`都是转换算子。`collect`是Action算子。7.A、B、C解析：NodeManager负责监控节点资源、启动和管理Container、汇报节点状态。YARN不负责HDFS读写。8.A、B、C解析：大数据生态圈核心组件包括HDFS、YARN、MapReduce/Spark、Hive、HBase等，MySQL属于传统数据库。9.A、B、C解析：SparkSQL可以处理结构化数据、半结构化数据，支持HiveQL，不局限于JSON。10.A、B、C解析：插入、更新、删除操作如果导致Region大小超过阈值，可能会触发Region分裂。单纯的扫描（Scan）操作不会触发分裂。三、简答题1.HDFS写入流程及NameNode作用：*流程：客户端向NameNode请求上传文件；NameNode检查文件是否存在及权限，并确定文件块的存储位置；客户端根据返回的DataNode地址，以流水线方式将数据块写入第一个DataNode；第一个DataNode收到数据后，将数据发送给第二个DataNode，依次类推；所有副本写入完成后，NameNode更新元数据。*NameNode作用：负责管理文件系统的命名空间和元数据（如文件与块的映射关系），负责客户端的请求调度和权限控制，但不参与实际数据的传输。2.RDD依赖关系及区别：*定义：RDD之间的依赖关系构成了RDD的血统。*窄依赖：子RDD的分区依赖于父RDD的一个或少量分区。通常代表一对一或一对多（如map,filter）。优点是可以在一个Task中并行处理所有父RDD分区。*宽依赖：子RDD的分区依赖于父RDD的多个分区（发生Shuffle）。通常代表多对一（如reduceByKey,groupByKey）。优点是可以充分利用集群资源并行计算，缺点是涉及网络Shuffle，开销大。3.Hive分区与分桶的区别及应用场景：*区别：*分区：是表的一个逻辑划分，对应HDFS上的一个物理目录。分区键不一定是表中的实际列，查询时通过分区字段过滤可以极大减少扫描的数据量。*分桶：是针对表数据（或分区数据）的物理存储划分，对应HDFS上的物理文件。分桶列通常是表中的实际列。分桶通过哈希算法将数据分散到不同文件中，用于提高查询效率和Join性能。*应用场景：*分区：用于快速