Hadoop 综合测试题（含详细答案）

Hadoop综合测试题（含详细答案）适用场景：大数据入门考核、企业面试笔试、课程结课测试难度等级：中等（覆盖基础核心、原理、运维、实操）一、单项选择题（共10题，每题2分，共20分）1.以下不属于Hadoop核心组件的是（）A.HDFSB.MapReduceC.SparkD.YARN2.HDFS默认的块大小为（）A.64MBB.128MBC.256MBD.512MB3.HDFS中负责存储元数据（文件目录、块映射信息）的节点是（）A.DataNodeB.NameNodeC.ResourceManagerD.NodeManager4.YARN集群中，负责全局资源调度、管理所有节点资源的核心角色是（）A.NodeManagerB.ResourceManagerC.ApplicationMasterD.Container5.MapReduce程序中，负责对Map输出数据进行分区、排序、合并的阶段是（）A.Map阶段B.Reduce阶段C.Shuffle阶段D.Input阶段6.HDFS默认的数据副本数量为（）A.1B.2C.3D.47.以下哪项不是NameNode的核心功能（）A.管理文件系统命名空间B.存储文件数据块内容C.维护块与节点映射关系D.处理客户端读写请求8.MapReduce中Reduce函数的输入数据特点是（）A.无序、无分组B.按键排序、同key数据分组C.随机排序D.仅分区不排序9.YARN中执行具体任务、管理单个节点资源的组件是（）A.ResourceManagerB.NameNodeC.NodeManagerD.DataNode10.Hadoop集群中，SecondaryNameNode的主要作用是（）A.实时备份NameNode数据B.辅助NameNode合并日志、恢复元数据C.分担读写请求D.存储用户数据块二、填空题（共10空，每空2分，共20分）1.Hadoop三大核心组件是________、________、________。2.HDFS采用________架构，分为主节点和从节点两类角色。3.MapReduce工作流程主要分为________、________、Shuffle、Reduce四个核心阶段。4.YARN的核心容器________，是任务资源分配和运行的基本单位。5.HDFS中________节点负责实际存储文件数据块，响应客户端读写请求。6.为保证集群高可用，HDFS支持________机制，防止单节点故障导致集群瘫痪。7.MapReduce中Combiner的作用是________，减少网络传输数据量。三、简答题（共4题，每题10分，共40分）1.简述HDFS的优缺点。2.详细说明MapReduceShuffle阶段的完整执行流程。3.简述YARN的工作机制及各核心组件的职责。4.说明NameNode、DataNode、SecondaryNameNode三者的区别与联系。四、实操问答题（共2题，每题10分，共20分）1.简述Hadoop集群正常启动的核心步骤，以及各步骤启动的进程。2.工作中遇到HDFS数据读写缓慢、集群卡顿，简述常见排查思路和解决办法。详细参考答案一、单项选择题答案及解析1.C解析：Hadoop核心组件为HDFS、MapReduce、YARN，Spark是独立的大数据计算框架，不属于Hadoop原生核心组件。2.B解析：Hadoop2.x及3.x版本默认HDFS块大小为128MB，1.x版本为64MB，目前主流版本均为128MB。3.B解析：NameNode专门管理文件系统元数据，不存储真实文件数据；DataNode存储实际数据块。4.B解析：ResourceManager是YARN全局调度中心，负责接收任务、分配资源、管理所有NodeManager。5.C解析：Shuffle是MapReduce核心中转阶段，完成数据分区、排序、归并，为Reduce提供有序数据。6.C解析：HDFS默认副本数为3，保证数据容错性，可通过配置文件自定义修改。7.B解析：NameNode仅存储元数据，不存储文件数据块内容，真实数据全部存储在DataNode。8.B解析：Shuffle阶段会对数据按键全局排序，相同key的数据会自动分组，统一交给Reduce处理。9.C解析：NodeManager是单个节点的资源管理者，负责当前节点的资源监控、任务启动与运行管理。10.B解析：SecondaryNameNode不实时备份数据，核心工作是定期合并NameNode的fsimage和edits日志，辅助恢复元数据，减轻主节点压力。二、填空题答案1.HDFS、MapReduce、YARN2.主从（Master-Slave）3.输入分片、Map4.Container5.DataNode6.高可用（HA）7.本地聚合数据（局部合并相同key数据）三、简答题详细答案1.简述HDFS的优缺点优点：（1）高容错性：通过多副本机制存储数据，单个节点故障不会导致数据丢失，集群可自动恢复数据副本；（2）高吞吐量：适配大数据批量读写场景，牺牲低延迟，换取超大文件的高速读写能力，适合离线数据处理；（3）可横向扩展：支持上千台节点集群扩容，可动态新增节点，存储和计算能力同步提升；（4）低成本：基于普通廉价服务器搭建，无需高端存储设备，搭建和运维成本低；（5）简单可靠：架构简洁，主从分工明确，运维逻辑清晰，稳定性强。缺点：（1）不适合低延迟访问：针对小文件、实时随机读写场景性能较差，无法适配实时业务；（2）小文件存储效率低：每个文件都会生成元数据，大量小文件会占用NameNode内存，导致集群性能下降；（3）不支持多用户并发写入、文件随机修改：仅支持追加写入，不支持任意位置修改数据，写入场景受限。2.详细说明MapReduceShuffle阶段的完整执行流程Shuffle阶段是连接Map和Reduce的核心阶段，全程分为Map端Shuffle和Reduce端Shuffle，具体流程如下：（1）Map输出缓存：Map任务执行完成后，输出的<key,value>数据不会直接写入磁盘，先存入环形内存缓冲区；（2）分区排序：缓冲区数据达到阈值后，按照分区规则对数据分区，同一分区内根据key进行字典序排序；（3）Combiner局部聚合：若配置Combiner，会对同分区同key数据做局部合并，减少磁盘落地数据量；（4）溢写磁盘：排序聚合后的数据分批溢写到本地磁盘，生成多个临时溢写文件；（5）磁盘归并：Map任务结束后，将所有溢写文件按分区、key再次归并，生成最终有序的分区文件；（6）Reduce拉取数据：各个Reduce任务根据分区编号，主动拉取对应分区的Map输出数据；（7）Reduce端排序归并：拉取的多份数据在Reduce端再次合并排序，保证全局key有序、同key数据分组；（8）数据分组输出：将分组后的<key,迭代value集合>数据传入Reduce函数执行计算。3.简述YARN的工作机制及各核心组件的职责YARN是Hadoop资源调度框架，采用主从架构，核心作用是统一管理集群内存、CPU等资源，调度各类计算任务，实现资源复用。核心组件及职责：（1）ResourceManager（RM，主节点）：集群全局资源管理者，负责接收客户端任务提交请求，统一分配集群资源，调度任务运行，监控ApplicationMaster状态，处理任务异常；（2）NodeManager（NM，从节点）：单个节点资源管理者，负责监控当前节点的CPU、内存资源，管理本机运行的Container，上报节点资源使用状态给RM，启停任务进程；（3）ApplicationMaster（AM）：单个任务的管理者，任务启动后由RM分配资源创建，负责拆分任务、申请运行资源、监控任务子流程、上报任务运行状态；（4）Container：资源运行容器，是YARN最小资源单位，封装了CPU、内存资源，所有任务都在Container中运行，隔离不同任务资源。工作机制：用户提交任务后，RM接收请求并分配资源启动AM，AM向RM申请计算资源，对应节点NM启动Container运行任务，全程由RM和NM监控资源与任务状态，任务完成后释放资源。4.说明NameNode、DataNode、SecondaryNameNode三者的区别与联系三者均为HDFS核心组件，分工不同、相互配合，共同实现分布式文件存储：（1）NameNode（主节点）：HDFS核心管理者，仅负责管理文件系统元数据，包括文件目录结构、文件与数据块映射、数据块与节点映射；处理客户端读写请求，调度数据存储与读取；不存储真实文件数据，是集群核心主控节点，存在单点故障风险（非HA模式）。（2）DataNode（从节点）：集群数据存储节点，负责实际存储文件数据块，响应NameNode的调度指令，执行数据读写、副本复制、数据校验；定期向NameNode上报数据块状态，是集群数据存储的载体。（3）SecondaryNameNode（辅助节点）：不属于主从节点，不参与集群读写调度，不实时同步数据；核心作用是定期拉取NameNode的fsimage镜像文件和edits操作日志，合并生成新的元数据镜像，清理过期日志，辅助NameNode恢复元数据，降低主节点压力。联系：三者协同工作保障HDFS稳定运行，NameNode统一调度，DataNode落地存储，SecondaryNameNode保障元数据安全，缺一不可。四、实操问答题详细答案1.简述Hadoop集群正常启动的核心步骤，以及各步骤启动的进程Hadoop集群启动分为HDFS启动和YARN启动两部分，标准启动步骤及对应进程如下：（1）初始化环境：确认集群节点时间同步、免密登录正常、配置文件同步完成；（2）格式化NameNode（首次搭建或重置集群执行，日常重启无需执行）：执行hdfsnamenode-format，生成元数据初始文件；（3）启动HDFS集群：执行start-dfs.sh，启动进程包括：主节点NameNode、辅助节点SecondaryNameNode、所有从节点DataNode；（4）启动YARN集群：执行start-yarn.sh，启动进程包括：主节点ResourceManager、所有从节点NodeManager；（5）启动历史服务器（可选，用于查看任务日志）：执行mr-jobhistory-daemon.shstarthistoryserver，启动JobHistoryServer进程；（6）验证集群：通过jps命令查看所有进程是否正常启动，无缺失、无异常退出即为启动成功。2.工作中遇到HDFS数据读写缓慢、集群卡顿，简述常见排查思路和解决办法按照「先整体、后局部，先资源、后业务」的思路排查，具体如下：（1）查看集群节点状态：通过web页面或命令查看所有DataNode节点是否在线，是否存在节点掉线、宕机情况，单节点故障会导致数据副本重构，占用大量资源造成卡顿，需重启异常节点、修复节点故障；（2）检查磁盘资源：查看各节点磁盘使用率、磁盘IO负载，磁盘爆满、坏道、IO过高会直接导致读写缓慢，及时清理无用日志、垃圾文件，更换故障磁盘，优化磁盘读写策略；（3）检查内存与CPU资源：查看NameNode、ResourceManager进程内存占用，内存溢出、堆内存不足会导致进程卡顿、响应延迟，可调整JVM堆内存参数，优化进程资源配置；（4）排查小文件问题：大量小文件会占用Nam