大数据工程师Hadoop试题及分析

大数据工程师Hadoop试题及分析一、单项选择题（共10题，每题1分，共10分）下列组件中不属于Hadoop1.x核心组成部分的是？A.HDFS分布式文件系统B.MapReduce计算框架C.YARN资源调度框架D.HadoopCommon公共工具包答案：C解析：Hadoop1.x的核心组件仅包含HDFS、MapReduce和HadoopCommon三类，YARN是Hadoop2.x版本才新增的资源调度组件，因此C选项错误，其余选项表述正确。Hadoop2.x及以上主流版本中，HDFS数据块的默认大小是？A.32MBB.64MBC.128MBD.256MB答案：C解析：Hadoop1.x版本的默认块大小为64MB，2.x及后续版本为了适配更大容量的存储场景，将默认块大小调整为128MB，用户也可根据业务需求自行修改配置，因此选C。Hadoop2.x版本中，负责集群全局资源调度和作业管理的核心组件是？A.JobTrackerB.ResourceManagerC.NameNodeD.NodeManager答案：B解析：JobTracker是Hadoop1.x中负责资源调度的组件，2.x版本已被ResourceManager替代；NameNode是HDFS的元数据管理组件，NodeManager是单节点的资源管理组件，因此选B。下列关于HDFS默认副本放置策略的表述错误的是？A.默认副本数量为3B.第一副本优先存储在提交任务的客户端所在节点（客户端在集群内时）C.第二副本优先存储在与第一副本相同机架的其他节点D.第三副本优先存储在与第二副本相同机架的其他节点答案：C解析：HDFS默认副本放置策略为：第一副本存本地节点，第二副本存不同机架的随机节点，第三副本存第二副本所在机架的其他节点，以此兼顾数据可靠性和读写效率，C选项表述错误。MapReduce编程模型中，衔接Mapper和Reducer、负责数据传输和排序的核心阶段是？A.Split切片阶段B.Combine本地聚合阶段C.Shuffle阶段D.Output输出阶段答案：C解析：Split阶段是将输入数据切分为多个分片分配给Map任务；Combine是可选的本地优化阶段；Shuffle阶段包含Mapper端的分区、排序、合并，以及Reducer端的数据拷贝、排序，是衔接Map和Reduce的核心流程，因此选C。下列命令中，可以查看HDFS根目录下所有文件和文件夹的是？A.hdfsdfs-ls/B.hdfsdfs-cat/C.hdfsdfs-mkdir/testD.hdfsdfs-putlocal.txt/答案：A解析：-cat命令用于查看文件内容，-mkdir用于创建文件夹，-put用于上传本地文件到HDFS，只有-ls命令用于列出目录下的文件，因此选A。YARN架构中，负责单个作业的资源申请、任务监控和生命周期管理的组件是？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container答案：C解析：ResourceManager负责全局资源调度，NodeManager负责单节点的资源管理，Container是资源的抽象封装单元，每个作业启动时都会生成专属的ApplicationMaster负责该作业的全生命周期管理，因此选C。HDFS中负责存储实际数据块的组件是？A.NameNodeB.SecondaryNameNodeC.DataNodeD.Zookeeper答案：C解析：NameNode存储HDFS元数据，SecondaryNameNode负责辅助合并NameNode的元数据日志，Zookeeper用于HA模式下的选主和协调，只有DataNode负责存储实际的数据块，因此选C。下列关于MapReduce运行机制的表述正确的是？A.Reduce任务的数量必须和Map任务数量一致B.一个输入切片（Split）默认对应一个Map任务C.Combine阶段是所有MapReduce作业的必须执行阶段D.MapReduce仅能处理结构化数据答案：B解析：Reduce数量可由用户自行配置，和Map数量无关；Combine是可选的优化阶段，不是必须执行；MapReduce支持结构化、半结构化、非结构化多类数据处理；一个输入切片默认对应一个Map任务，因此B选项表述正确。SecondaryNameNode的核心作用是？A.作为NameNode的热备节点，故障时自动切换对外提供服务B.定期合并NameNode的fsimage镜像和edits日志，减少NameNode重启时间C.存储数据块副本，分担DataNode的存储压力D.负责调度HDFS的读写请求答案：B解析：SecondaryNameNode不是热备节点，热备是HA模式下StandbyNameNode的功能；存储数据块是DataNode的功能；调度读写请求是NameNode的功能；SecondaryNameNode的核心作用是合并元数据日志，因此选B。二、多项选择题（共10题，每题2分，共20分）下列组件中属于Hadoop生态体系的有？A.Hive分布式数据仓库B.HBase分布式列式数据库C.Flume日志采集工具D.Redis内存数据库答案：ABC解析：Hive、HBase、Flume都是Hadoop生态下的专用组件，分别用于数据仓库、分布式数据库、日志采集场景；Redis是独立的内存数据库，不属于Hadoop生态，因此选ABC。下列属于HDFS核心特点的有？A.适合存储TB/PB级大文件B.具备多副本高容错能力C.支持高并发随机修改操作D.可通过增加节点实现存储能力横向扩展答案：ABD解析：HDFS设计目标是海量大文件存储，通过多副本实现高容错，支持线性扩展；但HDFS采用一次写入多次读取的设计，不支持随机修改操作，因此C选项错误，选ABD。下列属于MapReduce核心流程阶段的有？A.Mapper数据处理阶段B.Shuffle数据传输排序阶段C.Reducer结果聚合阶段D.ETL数据清洗阶段答案：ABC解析：MapReduce的核心流程分为Mapper、Shuffle、Reducer三个阶段，ETL是数据抽取转换加载的通用业务流程，不属于MapReduce的内置阶段，因此选ABC。下列属于YARN核心组件的有？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.NameNode答案：ABC解析：YARN的核心组件包括全局调度的ResourceManager、单节点管理的NodeManager、作业专属的ApplicationMaster；NameNode是HDFS的组件，不属于YARN，因此选ABC。下列HDFS命令中，可实现本地文件上传到HDFS的有？A.hdfsdfs-putB.hdfsdfs-getC.hdfsdfs-copyFromLocalD.hdfsdfs-moveFromLocal答案：ACD解析：-get是将HDFS文件下载到本地的命令，其余三个命令都支持本地文件上传到HDFS，其中moveFromLocal会在上传完成后删除本地源文件，因此选ACD。下列关于MapReduce中Combine阶段的表述正确的有？A.Combine属于本地预聚合，能够减少Shuffle阶段的数据传输量B.Combine是可选的优化阶段，不是必须执行C.所有类型的MapReduce作业都可以使用Combine优化D.Combine的业务逻辑必须和Reducer完全一致答案：AB解析：Combine是Mapper端的可选优化，核心作用是本地聚合减少数据传输量，AB表述正确；只有满足交换律、结合律的运算（如求和、计数）可以使用Combine，求平均数等场景无法使用，Combine的逻辑也不需要和Reducer完全一致，因此CD错误。HDFS高可用（HA）模式下必须部署的角色有？A.ActiveNameNodeB.StandbyNameNodeC.JournalNode集群D.SecondaryNameNode答案：ABC解析：HA模式下通过ActiveNameNode对外服务，StandbyNameNode作为热备，JournalNode同步两个NameNode的元数据，该模式下不再需要SecondaryNameNode，因此选ABC。下列属于HDFS内置数据损坏修复机制的有？A.定期巡检时通过校验和验证识别损坏数据块B.识别损坏块后自动从其他正常副本所在节点复制完整副本C.直接删除损坏块并重新生成原始数据D.支持运维人员手动触发副本修复操作答案：ABD解析：HDFS会通过校验和识别损坏块，自动依托现有正常副本完成修复，也支持手动触发修复，ABD表述正确；损坏块的修复必须依托已有副本，无法直接生成原始数据，C错误。下列场景中适合使用MapReduce处理的有？A.海量Web日志的PV/UV统计B.10TB级数据的全局排序C.实时交易消息的流式计算D.离线数仓的TB级数据ETL答案：ABD解析：MapReduce适合海量数据的离线批处理场景，日志统计、大规模排序、离线ETL都属于该类场景；实时流计算场景要求毫秒级延迟，MapReduce处理延迟过高不适用，因此选ABD。下列关于YARN中Container的表述正确的有？A.Container是YARN对计算资源的抽象封装，包含CPU、内存等资源B.每个Map或Reduce任务都运行在独立的Container中C.Container可以脱离NodeManager独立运行D.同一个作业的不同任务可以申请不同配额的Container答案：ABD解析：Container是YARN的资源抽象单元，所有任务都运行在Container中，同一个作业的Map和Reduce任务可以配置不同的资源配额，ABD表述正确；Container必须运行在NodeManager的管理下，由NodeManager监控运行状态，C错误。三、判断题（共10题，每题1分，共10分）HDFS的默认副本数为3，用户无法自行修改单个文件的副本数。答案：错误解析：HDFS默认副本数为3，用户可以通过修改集群配置，或者上传文件时指定参数，自定义调整单个文件或整个目录的副本数。MapReduce作业的Reducer数量只能设置为1。答案：错误解析：用户可以根据数据量、集群资源情况自行设置Reducer的数量，多Reducer可以提升作业的并行处理效率。SecondaryNameNode可以作为NameNode的热备节点，故障时自动切换对外提供服务。答案：错误解析：SecondaryNameNode的核心作用是合并NameNode的元数据日志，不具备热备能力，HA模式下的StandbyNameNode才是热备节点，故障时可自动切换。HDFS支持对已写入的文件进行随机位置的内容修改操作。答案：错误解析：HDFS采用一次写入多次读取的设计，仅支持在文件末尾追加写入，不支持随机位置的内容修改。YARN是Hadoop2.x版本引入的资源调度框架，解决了1.x版本JobTracker单点压力过大的问题。答案：正确解析：Hadoop1.x中JobTracker同时负责资源调度和作业监控，单点压力大、扩展性差，2.x引入YARN实现了资源调度和作业管理的解耦，解决了该问题。MapReduce的Shuffle阶段仅发生在Mapper端。答案：错误解析：Shuffle阶段贯穿Mapper和Reducer两端，包含Mapper端的分区、排序、合并，以及Reducer端的数据拷贝、合并排序等流程。HDFS中小于默认块大小的小文件，会单独占用一个逻辑数据块。答案：正确解析：HDFS的块是逻辑存储单位，小文件会占用一个完整的逻辑块，实际在物理磁盘上仅占用和文件大小一致的存储空间。HBase是构建在HDFS之上的分布式关系型数据库，支持标准SQL查询。答案：错误解析：HBase是构建在HDFS之上的分布式NoSQL列式数据库，不支持标准SQL查询，需要通过专用API或第三方组件实现类SQL查询。一个MapReduce作业可以省略Reducer阶段，仅运行Mapper任务。答案：正确解析：仅需要数据过滤、格式转换的作业可以省略Reducer阶段，Mapper处理完成后直接输出结果，无需聚合。YARN中的NodeManager负责整个集群的全局资源调度和分配。答案：错误解析：NodeManager是单节点的资源管理组件，仅负责所在节点的资源管理和任务监控，全局资源调度由ResourceManager负责。四、简答题（共5题，每题6分，共30分）简述HDFS的核心读写流程。答案要点：第一，写流程：客户端向NameNode发起写请求，NameNode校验权限和存储空间后，返回可用的DataNode节点列表，客户端将文件切分为多个数据块，按副本策略依次写入对应DataNode，写入完成后NameNode更新元数据信息；第二，读流程：客户端向NameNode发起读请求，NameNode返回文件对应数据块的存储位置列表，客户端优先选择就近的DataNode读取数据块，所有块读取完成后拼接为完整文件。解析：写流程中数据块会并行写入多个DataNode，所有副本写入完成后才会返回确认信息，保障数据可靠性；读流程的就近选择策略可降低网络开销，若某个DataNode读取失败，客户端会自动切换到其他副本所在节点读取，保障读取可用性。简述MapReduce的核心编程思想。答案要点：第一，分而治之：将大规模数据集切分为多个独立的输入切片，分配给多个Map任务并行处理，大幅提升处理效率，支持横向扩展；第二，接口抽象：用户仅需要实现Mapper和Reducer的业务逻辑接口，无需关心底层分布式调度、数据传输、故障容错等细节，降低分布式程序开发门槛；第三，统一聚合：Mapper的输出结果经过Shuffle阶段的排序分组后，交给Reducer做全局聚合计算，输出最终结果。解析：分而治之的思想让MapReduce具备优秀的扩展性，增加集群节点即可线性提升处理能力；接口抽象的设计让普通开发人员无需掌握分布式开发的底层知识，即可快速实现海量数据的分布式处理。简述YARN的核心工作流程。答案要点：第一，作业提交：用户将作业提交到ResourceManager，ResourceManager为作业分配第一个Container，在对应节点上启动该作业专属的ApplicationMaster；第二，资源申请：ApplicationMaster根据作业的任务数量、资源需求，向ResourceManager申请对应的Container资源；第三，任务运行：ResourceManager将可用的Container分配给ApplicationMaster后，ApplicationMaster和对应节点的NodeManager通信，在Container中启动Map/Reduce等任务，全程监控任务运行状态，若任务失败自动重试；第四，资源释放：作业全部运行完成后，ApplicationMaster向ResourceManager注销，释放所有占用的Container资源。解析：YARN的架构实现了资源调度和作业管理的解耦，除了MapReduce之外，Spark、Flink等多种计算框架都可以对接YARN运行，实现集群资源的统一调度管理。简述HDFS小文件问题的危害和常见解决方法。答案要点：第一，危害：首先，小文件会占用大量NameNode的元数据内存，导致NameNode内存利用率低，集群存储扩展性下降；其次，大量小文件的读写会产生大量随机IO，大幅降低存储和计算效率。第二，解决方法：一是使用HadoopArchive（HAR）将多个小文件打包为归档文件存储，减少元数据占用；二是使用SequenceFile、Avro等存储格式，将小文件合并为大文件存储；三是在计算时使用CombineTextInputFormat作为输入格式，合并小文件切片，减少Map任务启动数量。解析：小文件问题是HDFS的典型问题，通常出现在日志采集、小图片存储等场景，需要根据业务场景选择合适的合并策略，避免NameNode内存被大量无效元数据占用，影响集群稳定性。简述Combine和Reducer的核心区别。答案要点：第一，运行位置不同：Combine运行在Mapper所在的节点，属于本地聚合；Reducer运行在YARN分配的独立Container中，属于全局聚合。第二，作用不同：Combine是可选的优化阶段，核心作用是减少Shuffle阶段的数据传输量；Reducer是MapReduce的核心阶段，负责最终的全局结果聚合。第三，适用场景不同：Combine仅适用于满足交换律和结合律的运算（如求和、计数），求平均数等场景无法使用；Reducer可以适配所有需要聚合的业务场景。解析：合理使用Combine可以大幅降低Shuffle阶段的网络开销，提升作业运行效率，但使用前需要确认业务逻辑符合Combine的适用要求，避免出现计算结果错误。五、论述题（共3题，每题10分，共30分）结合实际业务场景，论述HDFS的适用场景和不适用场景。答案：论点：HDFS的核心设计目标是海量大文件的高可靠、低成本存储，有明确的适用边界，需要结合业务场景选择使用。论据1：HDFS的适用场景主要分为两类。第一类是海量大文件的离线存储场景，比如企业的用户行为日志、离线数仓原始数据的存储，这类场景数据量可达PB级，且写入后很少修改，HDFS的多副本高容错、低成本横向扩展的优势非常明显。某企业的日志数据存储量达到PB级，使用HDFS存储后，单位存储成本仅为传统高端存储的五分之一，可用性达到99.99%。第二类是高吞吐量的批量读写场景，比如MapReduce、Spark等离线批处理作业的数据源存储，这类场景一次写入多次读取，不需要低延迟访问，HDFS的高吞吐量特性可以充分发挥，大幅提升批处理作业的运行效率。论据2：HDFS的不适用场景主要分为三类。第一类是低延迟访问场景，比如在线业务的热点数据存储，HDFS的访问延迟通常在毫秒到秒级，无法满足在线业务毫秒级的响应要求，某企业曾尝试用HDFS存储电商的商品详情图片，用户访问延迟超过2秒，最终切换为专用的对象存储服务。第二类是大量小文件存储场景，前面提到的小文件问题会导致NameNode内存占用过高，某企业初期将千万级的用户头像小文件存在HDFS，导致NameNode内存占用超过80%，集群稳定性下降，后续通过合并小文件才解决了该问题。第三类是需要频繁随机修改的场景，比如交易系统的订单数据，需要频繁修改订单状态，HDFS不支持随机修改的特性无法适配这类需求。结论：在实际使用HDFS时，需要充分评估业务场景的存储特性，优先将海量大文件的离线存储场景放在HDFS，避免将不适合的场景迁移到HDFS，导致资源浪费和稳定性问题。结合实际作业调优经验，论述MapReduce作业的常见优化手段。答案：论点：MapReduce作业优化可以从输入阶段、Shuffle阶段、业务逻辑三个维度展开，针对性优化可以大幅提升作业运行效率、降低资源消耗。论据1：输入阶段优化。核心是解决小文件带来的Map任务过多的问题，使用CombineTextInputFormat合并小文件作为输入，减少Map任务的启动数量。某海量日志处理作业原来有上万个Map任务，运行时间超过2小时，使用CombineTextInputFormat合并小文件后，Map任务数量减少到1000个，运行时间缩短到40分钟。论据2：Shuffle阶段优化。首先是开启Combine阶段做本地聚合，减少Shuffle传输的数据量；其次是调整Shuffle阶段的内存缓冲区大小，避免频繁溢写磁盘；另外可以适当压缩Mapper的输出数据，降低网络传输开销。某大规模排序作业开启Combine和Mapper输出压缩后，Shuffle阶段的数据传输量降低了60%，作业运行时间缩短了30%。需要注意的是Combine的使用要符合业务逻辑要求，求平均数等场景不能随便开启。论据3：业务逻辑优化。首先是合理设置Reducer的数量，通常Reducer的数量设置为集群总可用Container数的一半左右，避免Reducer过少导致并行度不足，过多导致资源争抢；其次是解决数据倾斜问题，通过对热点Key做打散处理、调整分区规则解决数据倾斜