Hadoop 基础期末考试题（含详细答案）-1

Hadoop基础期末考试题（含详细答案）考试说明：满分100分，考试时长90分钟，题型包含选择题、填空题、简答题、实操应用题，侧重Hadoop基础原理、架构组件、运行机制及实操应用。一、单项选择题（每题2分，共20分）1.以下不属于Hadoop核心组件的是（）A.HDFSB.MapReduceC.SparkD.YARN2.HDFS默认的块大小是（）A.64MBB.128MBC.256MBD.512MB3.HDFS中负责存储元数据、管理文件目录的节点是（）A.DataNodeB.NameNodeC.ResourceManagerD.NodeManager4.YARN架构中，负责整个集群资源调度与管理的核心组件是（）A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container5.MapReduce程序中，负责数据分片、预处理输出键值对的阶段是（）A.Reduce阶段B.Map阶段C.Shuffle阶段D.Combine阶段6.HDFS默认的数据副本数量是（）A.1个B.2个C.3个D.4个7.以下哪项不是HDFS的设计特点（）A.高容错性B.适合海量数据存储C.低延迟随机读写D.数据一次性写入多次读取8.MapReduce的Shuffle过程中，对Map输出数据进行分区排序的目的是（）A.提升数据存储速度B.保证相同key的数据分发到同一个Reduce节点C.减少数据副本数D.降低集群内存占用9.YARN中Container的核心作用是（）A.存储HDFS元数据B.封装节点资源，运行任务进程C.调度集群任务D.备份集群数据10.启动Hadoop集群的核心命令是（）A.start-dfs.sh、start-yarn.shB.hadoopstartC.yarnstartD.hdfsstart二、填空题（每空2分，共20分）1.Hadoop三大核心组件是________、________、________。2.HDFS集群分为________节点和________节点两类核心角色。3.MapReduce程序的核心运行流程分为________、________、________三个核心阶段。4.YARN的工作节点组件是________，负责单个节点的资源管理和任务监控。5.HDFS中________机制可以有效解决数据节点故障导致的数据丢失问题。三、简答题（每题8分，共40分）1.简述HDFS的架构原理及各核心节点的主要职责。2.详细说明MapReduceShuffle阶段的完整执行流程。3.简述YARN的整体架构及各组件的功能分工。4.对比HDFS与普通本地磁盘文件系统的区别。5.简述Hadoop集群中NameNode的故障解决方案及SecondaryNameNode的作用。四、实操应用题（每题10分，共20分）1.简述Hadoop集群部署完成后，基础环境验证的核心操作步骤（包含启停集群、查看集群状态、测试HDFS读写）。2.结合MapReduce原理，简述经典的WordCount单词统计程序的执行逻辑（从数据读取到结果输出全流程）。参考答案（详细解析）一、单项选择题答案及解析1.C解析：Hadoop核心三大组件为HDFS、MapReduce、YARN，Spark是独立的大数据计算框架，不属于Hadoop原生核心组件。2.B解析：Hadoop2.x及3.x版本默认HDFS块大小为128MB，1.x版本为64MB，当前主流版本均采用128MB。3.B解析：NameNode是HDFS的主节点，负责管理文件系统命名空间、元数据、文件目录结构；DataNode负责存储实际数据块。4.A解析：ResourceManager是YARN集群全局资源调度中心，负责统一分配CPU、内存资源，调度所有运行任务。5.B解析：Map阶段负责读取分片数据，自定义逻辑处理后输出<key,value>键值对，是数据预处理的核心阶段。6.C解析：HDFS默认副本数为3，可通过配置文件修改，多副本机制保障数据高可用、高容错。7.C解析：HDFS针对海量大文件做了优化，适合高吞吐量的批量读写，不适合小文件、低延迟的随机读写场景。8.B解析：Shuffle阶段的分区排序规则是相同key的数据会被分配至同一个Reduce任务，保证数据聚合统计的准确性。9.B解析：Container是YARN的资源容器，封装了单个任务所需的CPU、内存资源，所有任务都在Container中运行。10.A解析：Hadoop集群启停专用脚本为start-dfs.sh、start-yarn.sh，停止集群对应stop-dfs.sh、stop-yarn.sh。二、填空题答案1.HDFS、MapReduce、YARN2.主（NameNode）、从（DataNode）3.Map阶段、Shuffle阶段、Reduce阶段4.NodeManager5.多副本存储三、简答题详细答案1.简述HDFS的架构原理及各核心节点的主要职责HDFS采用主从架构（Master/Slave），整体由一个主节点NameNode和多个从节点DataNode组成，部分集群配备SecondaryNameNode辅助主节点工作，核心职责分工如下：（1）NameNode（主节点）：作为HDFS的核心管理节点，不存储真实业务数据，仅维护文件系统元数据，包括文件目录结构、文件与数据块的映射关系、数据块与DataNode节点的映射关系；同时负责响应客户端的读写请求、管理数据副本分配、监控DataNode运行状态。（2）DataNode（从节点）：集群数据存储节点，是HDFS的工作节点，负责存储真实的文件数据块；根据NameNode指令执行数据块的写入、读取、复制、删除操作；定时向NameNode上报心跳信号和数据块状态，保证集群数据同步。（3）SecondaryNameNode：主要用于辅助NameNode完成元数据备份，定期合并NameNode的镜像文件和编辑日志，精简日志数据，同时可在主节点故障时作为备用节点，降低元数据丢失风险，但无法实时替代NameNode工作。2.详细说明MapReduceShuffle阶段的完整执行流程Shuffle阶段是MapReduce的核心数据传输与整理阶段，介于Map阶段结束、Reduce阶段开始之前，核心作用是对Map输出的无序数据进行分区、排序、聚合，完整流程如下：（1）Map输出缓存：Map任务处理完成后，输出的<key,value>数据不会直接写入磁盘，先存入内存环形缓冲区，缓冲区达到阈值后触发溢写机制。（2）分区排序：溢写前根据自定义分区规则（默认哈希分区）对数据分区，同一分区内的数据按照key进行字典序排序。（3）Combiner合并（可选）：局部合并相同key的value数据，减少磁盘写入和网络传输的数据量，提升集群运行效率。（4）磁盘溢写与归并：多次溢写会生成多个临时磁盘文件，任务结束后将所有临时文件进行归并排序，生成最终的Map输出文件。（5）数据拉取：Reduce任务启动后，根据分区信息，通过HTTP协议从各个Map节点拉取对应分区的有序数据。（6）分组聚合：Reduce节点对拉取的数据按照key分组，将相同key的所有value整合为一组，供Reduce函数迭代处理。3.简述YARN的整体架构及各组件的功能分工YARN采用分层主从架构，核心解决Hadoop1.x版本资源调度与任务耦合的问题，实现资源统一管理、任务独立调度，核心组件及功能如下：（1）ResourceManager（全局主节点）：集群顶级资源调度器，负责统一管理整个集群的CPU、内存资源；接收客户端任务提交请求，分配资源、调度任务运行；监控所有NodeManager节点状态，处理节点故障。（2）NodeManager（从节点）：每个数据节点部署一个，负责单节点的资源管理；监控本节点硬件资源使用情况、任务运行状态；定时向ResourceManager上报心跳和资源信息；启动并管理Container容器。（3）ApplicationMaster：每个应用程序启动后单独生成，负责当前任务的全生命周期管理；向ResourceManager申请运行资源，协调NodeManager执行任务；监控任务运行进度，处理任务异常。（4）Container：资源运行容器，是YARN资源调度的最小单位，封装CPU、内存等资源，所有Map、Reduce任务都在Container中独立运行，实现资源隔离。4.对比HDFS与普通本地磁盘文件系统的区别（1）存储架构：本地文件系统为单机架构，数据仅存储在单台机器磁盘；HDFS为分布式架构，数据拆分块存储在集群多节点，支持横向扩容。（2）容错机制：本地文件系统无容错能力，磁盘损坏则数据丢失；HDFS通过多副本存储、故障自动转移，实现高容错、高可用。（3）读写特性：本地文件系统支持随机读写、小文件高效读写；HDFS适合大文件、批量顺序读写，不擅长小文件和低延迟随机读写。（4）容量与扩展性：本地磁盘容量受单机器硬件限制，扩容繁琐；HDFS可通过新增节点快速扩容，支持PB、EB级海量数据存储。（5）使用场景：本地文件系统适用于单机日常文件存储；HDFS专注于大数据离线存储、批量计算场景。5.简述Hadoop集群中NameNode的故障解决方案及SecondaryNameNode的作用NameNode作为HDFS核心节点，一旦故障会导致整个文件系统无法访问、数据无法读写，对应的解决方案和辅助组件作用如下：（1）故障解决方案：生产环境中通过HA高可用机制解决NameNode单点故障，集群部署两个NameNode（Active主节点、Standby备用节点），主节点实时处理业务，备用节点实时同步主节点元数据；当主节点故障，备用节点可秒级切换为主节点，接管集群所有业务，保证集群不中断。（2）SecondaryNameNode核心作用：主要用于定期备份、合并NameNode的元数据文件。NameNode运行时会生成镜像文件和编辑日志，日志文件会持续膨胀，SecondaryNameNode定时拉取两类文件进行合并，生成精简的新镜像文件，防止元数据日志过大导致节点卡顿；同时可作为基础备份，在无HA架构的基础集群中，辅助恢复故障节点元数据，但不具备实时切换接管能力。四、实操应用题详细答案1.简述Hadoop集群部署完成后，基础环境验证的核心操作步骤（1）集群启动：执行启停脚本启动Hadoop集群，先执行start-dfs.sh启动HDFS文件系统，再执行start-yarn.sh启动YARN资源调度集群。（2）进程验证：通过jps命令查看集群核心进程，主节点需显示NameNode、ResourceManager、SecondaryNameNode进程，从节点需显示DataNode、NodeManager进程，确认所有核心进程正常启动。（3）集群状态查看：通过WebUI页面访问集群监控界面，HDFS默认端口50070、YARN默认端口8088，查看节点存活状态、资源使用情况、集群整体运行状态。（4）HDFS读写测试：执行基础命令测试文件上传、下载、创建、删除功能。通过hdfsdfs-mkdir创建HDFS目录，hdfsdfs-put上传本地文件至集群，hdfsdfs-get下载集群文件至本地，hdfsdfs-ls查看集群文件，验证读写功能正常。（5）集群关闭：测试完成后，执行stop-yarn.sh、stop-dfs.sh有序关闭集群，避免数据损坏。2.结合MapReduce原理，简述经典的WordCount单词统计程序的执行逻辑WordCount是HadoopMapReduce的入门经典案例，核心实现文本文件中所有单词的出现次数统计，全流程执行逻辑如下：（1）数据读取与分片：客户端提交任务后，HDFS读取待统计的文本文件，根据文件大小和块规则进行数据分片，每个分片对应一个Map任务。（2）Map阶段处理：Map任务逐行读取分片文本数据，对每行数