Hadoop 综合测试试题（基础+进阶）

Hadoop综合测试试题（基础+进阶）考试时长：90分钟满分：100分适用人群：大数据入门学习者、Hadoop运维/开发初级岗位考核一、单项选择题（共15题，每题2分，共30分）1.以下不属于Hadoop核心组件的是（）A.HDFSB.MapReduceC.SparkD.YARN2.HDFS默认的文件副本数量是（）A.1B.2C.3D.43.HDFS中负责存储元数据、管理文件目录和块信息的节点是（）A.DataNodeB.NameNodeC.ResourceManagerD.NodeManager4.下列关于HDFS架构特点说法错误的是（）A.主从架构B.适合存储大文件C.低延迟数据访问D.高容错、高可用5.YARN集群中负责全局资源调度、管理所有节点资源的服务是（）A.NodeManagerB.ResourceManagerC.ApplicationMasterD.Container6.MapReduce程序中，负责数据分片、预处理和输出中间结果的阶段是（）A.Map阶段B.Reduce阶段C.Shuffle阶段D.Combine阶段7.HDFS中DataNode默认的数据块大小为（）A.64MBB.128MBC.256MBD.512MB8.以下哪项操作不属于HDFS安全模式的特性（）A.仅读取文件B.禁止文件写入和删除C.自动修复损坏数据块D.集群启动默认进入9.MapReduceShuffle过程中，对Map输出数据进行分区的目的是（）A.提升数据压缩率B.将相同key数据分发到同一Reduce节点C.加快数据读取速度D.减少磁盘占用10.YARN中Container的核心作用是（）A.存储集群元数据B.封装节点资源，运行任务进程C.管理HDFS数据块D.调度集群任务队列11.下列命令中，用于查看HDFS根目录文件列表的是（）A.hdfsls/B.hdfsdfsls/C.hdfsdfs-ls/D.hadoopfsls/12.Hadoop2.x版本相较于1.x最大的改进是（）A.新增HBase组件B.将资源调度与计算框架分离，引入YARNC.优化HDFS读写速度D.支持更多文件格式13.MapReduce中Combiner的执行位置是（）A.Reduce节点本地B.Map节点本地C.ResourceManager节点D.随机节点14.HDFSSecondaryNameNode的主要作用是（）A.实时备份NameNode数据B.辅助合并fsimage和edits日志，减轻主节点压力C.接管故障NameNode服务D.存储用户数据块15.以下场景中，最不适合使用Hadoop处理的是（）A.海量日志离线分析B.大规模批量数据统计C.毫秒级实时查询D.海量文件归档存储二、填空题（共10空，每空2分，共20分）1.Hadoop三大核心组件分别是_________、_________、_________。2.HDFS采用_________机制实现数据容错，防止数据丢失。3.MapReduce运行的完整流程分为输入分片、Map阶段、_________、Reduce阶段、结果输出。4.YARN的三大核心角色是ResourceManager、_________、ApplicationMaster。5.HDFS中_________文件记录文件系统的元数据镜像，_________文件记录实时操作日志。6.执行HDFS文件上传的常用命令是_________。7.MapReduce中_________组件可以对Map输出结果进行局部聚合，减少网络传输数据量。三、简答题（共4题，每题8分，共32分）1.简述HDFS的主从架构组成，以及NameNode和DataNode的核心职责。2.详细说明MapReduce中Shuffle阶段的核心流程及作用。3.简述YARN的工作机制，说明其如何实现集群资源调度和任务管理。4.分析HDFS不适合低延迟数据访问、不适合频繁小文件存储的核心原因。四、实操应用题（共1题，18分）现有业务场景：需要对服务器海量访问日志进行批量统计，统计每一个IP的访问总次数，日志文件为超大文本文件，每行存储一条访问记录，格式为「访问IP访问时间访问接口」。请结合MapReduce编程思想，完成以下问题：1.简述本次统计需求的Map阶段核心处理逻辑（6分）2.简述本次统计需求的Reduce阶段核心处理逻辑（6分）3.说明本任务中开启Combiner的优势及具体作用（6分）参考答案一、单项选择题1.C2.C3.B4.C5.B6.A7.B8.C9.B10.B11.C12.B13.B14.B15.C二、填空题1.HDFS、MapReduce、YARN2.多副本存储3.Shuffle阶段4.NodeManager5.fsimage、edits6.hdfsdfs-put7.Combiner三、简答题（核心得分要点）1.HDFS架构及节点职责HDFS采用经典主从架构，由一个NameNode（主节点）和多个DataNode（从节点）组成，搭配SecondaryNameNode辅助工作。NameNode核心职责：管理文件系统命名空间，维护文件目录、文件与数据块的映射元数据；接收客户端读写请求，分配数据存储位置；管控集群所有DataNode节点状态。DataNode核心职责：实际存储文件数据块及副本；定时向NameNode上报心跳和块状态；响应客户端读写数据请求，执行数据块读写、复制、删除操作。2.Shuffle阶段核心流程及作用核心流程：Map任务输出临时数据后，先进行分区、排序、压缩，写入本地磁盘；随后通过网络将相同分区的数据拉取至对应Reduce节点，再进行归并排序，整理成有序的key-value数据集，供Reduce阶段处理。核心作用：实现数据的分区分发、全局排序，保证相同key的数据汇总到同一个Reduce任务，是Map与Reduce阶段的数据桥梁，保障聚合统计类任务正常执行。3.YARN工作机制YARN是Hadoop通用资源调度框架，核心实现资源与计算解耦。ResourceManager作为全局调度器，负责统一管理集群CPU、内存等资源，接收客户端任务提交请求，分配资源、调度任务队列。各节点的NodeManager负责管理本机资源，创建Container容器运行任务，监控任务运行状态并上报。任务启动后生成ApplicationMaster，专属负责该任务的资源申请、任务拆分、进度监控，任务完成后释放资源，实现集群资源高效复用。4.HDFS适用场景限制原因低延迟访问受限：HDFS面向海量离线批量处理设计，读写流程繁琐，需经过元数据查询、数据块寻址、网络传输等多个环节，无法满足毫秒级实时读写需求。不适合小文件存储：每个文件无论大小，都会在NameNode生成一条元数据，海量小文件会大量占用主节点内存，造成元数据压力过大，降低集群性能，且小文件读写的寻址开销远大于数据传输开销，效率极低。四、实操应用题（核心得分要点）1.Map阶段逻辑读取日志文件每一行数据，对每行字符串进行切割，提取出访问IP字段；以IP作为key，固定数值1作为value，输出key-value键值对（IP,1），完成数据预处理与字段提取。2.Reduce阶段逻辑接收相同IP对应的所有value数据集，对集合中的数值进行累加求和；最终以IP为key，累加