大数据Hadoop题及答案

大数据Hadoop题及答案一、单项选择题（共10题，每题1分，共10分）以下哪组属于Hadoop的核心基础组件？A.HDFS分布式文件系统和MapReduce计算框架B.Spark计算引擎和Hive数据仓库C.HBase分布式数据库和ZooKeeper协调组件D.YARN资源调度框架和Flink流计算引擎答案：A解析：Hadoop的核心基础组件为HDFS和MapReduce，YARN是后续版本新增的资源调度组件，B、C、D选项中的Spark、Hive、HBase、Flink都属于Hadoop生态组件，不属于核心基础组件，因此正确答案为A。HDFS默认的文件副本数量是多少？A.1B.2C.3D.4答案：C解析：HDFS默认配置下文件副本数为3，用户可以根据业务需求修改配置文件调整副本数，因此正确答案为C。MapReduce计算模型的两个核心执行阶段是？A.Split阶段和Combine阶段B.Map阶段和Reduce阶段C.Shuffle阶段和Sort阶段D.Input阶段和Output阶段答案：B解析：MapReduce的核心执行阶段为Map阶段和Reduce阶段，Split、Combine、Shuffle、Sort都属于两个核心阶段中的子环节，因此正确答案为B。HDFS中NameNode的核心作用是？A.存储用户上传的实际文件数据B.管理文件系统的元数据信息C.负责数据块的读写操作D.辅助合并元数据日志答案：B解析：NameNode是HDFS的主节点，核心作用是管理文件系统的元数据（包括目录结构、文件与块的映射、块存储位置等），A、C选项是DataNode的作用，D选项是SecondaryNameNode的作用，因此正确答案为B。YARN中负责整个集群资源调度的核心组件是？A.NodeManagerB.ApplicationMasterC.ResourceManagerD.Container答案：C解析：ResourceManager是YARN的主组件，负责整个集群的资源调度，A选项NodeManager是从节点上的资源代理，B选项ApplicationMaster负责单个应用的任务调度，D选项Container是资源分配的最小单元，因此正确答案为C。主流版本HDFS默认的单个数据块大小是？A.64MBB.128MBC.256MBD.512MB答案：B解析：旧版本HDFS默认块大小为64MB，目前主流的Hadoop版本默认块大小为128MB，可通过配置文件调整，因此正确答案为B。MapReduce中Combiner组件的核心作用是？A.对Map端输出做本地聚合，减少网络IO开销B.对Reduce端输出做全局排序C.负责将Map输出的数据分发到对应的Reduce节点D.切分输入数据为多个分片答案：A解析：Combiner运行在Map节点本地，核心作用是对Map输出的键值对做本地聚合，减少需要传输到Reduce节点的数据量，降低网络IO开销，B是Reduce端排序环节的作用，C是Shuffle阶段分区环节的作用，D是InputFormat的作用，因此正确答案为A。YARN中负责资源隔离的最小执行单元是？A.ApplicationB.JobC.TaskD.Container答案：D解析：Container是YARN资源分配的最小单元，每个Container包含固定的CPU、内存等资源，实现任务之间的资源隔离，因此正确答案为D。下列关于SecondaryNameNode的描述正确的是？A.是NameNode的热备节点，主节点故障时可直接接管服务B.负责存储实际的文件数据块C.辅助NameNode合并元数据镜像和编辑日志，减少NameNode重启时间D.负责调度DataNode的读写请求答案：C解析：SecondaryNameNode的核心作用是辅助合并NameNode的fsimage镜像文件和edits编辑日志，降低NameNode重启时的加载时间，不是热备节点，无法直接接管主NameNode服务，A错误；存储数据块的是DataNode，B错误；调度读写请求的是NameNode，D错误，因此正确答案为C。下列哪项不属于Hadoop的运行模式？A.本地运行模式B.伪分布式运行模式C.分布式运行模式D.云原生运行模式答案：D解析：Hadoop支持本地、伪分布式、分布式三种运行模式，云原生是部署方式的分类，不属于Hadoop官方定义的运行模式，因此正确答案为D。二、多项选择题（共10题，每题2分，共20分）下列属于HDFS核心角色的有？A.NameNodeB.DataNodeC.SecondaryNameNodeD.ResourceManager答案：ABC解析：HDFS的核心角色包括主节点NameNode、从节点DataNode、辅助节点SecondaryNameNode，D选项ResourceManager是YARN的核心组件，不属于HDFS角色，因此正确答案为ABC。下列属于MapReduce标准执行流程的环节有？A.输入分片与Map任务分配B.Map端数据处理与输出C.Shuffle阶段数据混洗与排序D.Reduce端数据聚合与输出答案：ABCD解析：MapReduce的完整执行流程包括输入分片、Map处理、Shuffle混洗、Reduce处理四个核心环节，四个选项都属于标准流程的组成部分，因此正确答案为ABCD。下列属于YARN核心组件的有？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.DataNode答案：ABC解析：YARN的核心组件包括主节点ResourceManager、从节点代理NodeManager、单应用调度器ApplicationMaster，D选项DataNode是HDFS的组件，不属于YARN，因此正确答案为ABC。下列属于Hadoop核心特点的有？A.高可靠性B.高扩展性C.高容错性D.低成本答案：ABCD解析：Hadoop的核心特点包括高可靠性（多副本存储）、高扩展性（可动态新增节点）、高容错性（故障自动转移与重试）、低成本（可运行在普通商用服务器上），四个选项都符合，因此正确答案为ABCD。下列属于HDFS适用场景的有？A.大文件批量存储B.离线数据分析C.毫秒级实时查询D.冷数据归档答案：ABD解析：HDFS适合大文件存储、离线批量读写、冷数据归档等高吞吐、低访问频率的场景，C选项毫秒级实时查询属于低延迟场景，HDFS访问延迟较高，不适用，因此正确答案为ABD。下列属于MapReduce适用场景的有？A.海量日志统计分析B.TB级数据排序C.实时推荐计算D.离线数据清洗转换答案：ABD解析：MapReduce适合高延迟、大吞吐量的离线计算场景，包括日志分析、数据排序、离线ETL等，C选项实时推荐属于低延迟计算场景，MapReduce执行效率低，不适用，因此正确答案为ABD。NameNode中存储的元数据包括以下哪些内容？A.文件系统的目录结构B.文件与数据块的对应关系C.数据块的存储节点信息D.文件的实际内容答案：ABC解析：NameNode存储的元数据包括目录结构、文件块映射、块存储位置三类，D选项文件的实际内容存储在DataNode中，不属于元数据，因此正确答案为ABC。下列属于YARN内置调度器类型的有？A.FIFO调度器B.容量调度器C.公平调度器D.优先级调度器答案：ABC解析：YARN官方内置了FIFO调度器、容量调度器、公平调度器三种调度器，优先级调度器不属于官方内置的标准调度器类型，因此正确答案为ABC。下列属于Hadoop生态体系组件的有？A.Hive分布式数据仓库B.HBase分布式列式数据库C.关系型数据库MySQLD.ZooKeeper分布式协调组件答案：ABD解析：Hive、HBase、ZooKeeper都属于Hadoop生态体系的常用组件，C选项MySQL是传统关系型数据库，不属于Hadoop生态，因此正确答案为ABD。下列关于HDFS副本机制的描述正确的有？A.默认配置下文件副本数为3B.副本数可以根据业务需求自定义调整C.副本通常存储在不同的DataNode上，提高数据可靠性D.副本数量越多，集群的读写性能越高答案：ABC解析：HDFS默认3副本，可自定义调整，副本跨节点存储避免单点故障，A、B、C描述正确；D选项错误，副本数量过多会增加写入时的同步开销，占用更多存储资源，不会无限提升性能，因此正确答案为ABC。三、判断题（共10题，每题1分，共10分）HDFS非常适合存储大量小文件，可以大幅提升集群的存储效率。答案：错误解析：HDFS的元数据全部存储在NameNode的内存中，每个小文件无论大小都会占用固定的元数据空间，大量小文件会快速耗尽NameNode的内存，大幅降低集群运行效率，因此HDFS不适合存储大量小文件。MapReduce的Map任务数量由输入数据的分片数量决定，一个分片对应一个Map任务。答案：正确解析：MapReduce的InputFormat组件会将输入数据切分为多个大小一致的分片，每个分片对应一个Map任务，因此Map任务的数量和分片数量完全一致。YARN的ResourceManager负责单个应用的任务调度和运行监控。答案：错误解析：ResourceManager负责整个集群的资源调度，单个应用的任务调度和运行监控由该应用对应的ApplicationMaster负责。HDFS的SecondaryNameNode可以作为NameNode的热备节点，主NameNode故障时可以直接切换为Active状态提供服务。答案：错误解析：SecondaryNameNode仅负责辅助合并NameNode的元数据，不具备热备功能，HDFS的高可用需要配置独立的StandbyNameNode节点，配合ZooKeeper实现故障自动切换。MapReduce的Combiner组件可以在任何计算场景下使用，不会影响最终的计算结果。答案：错误解析：Combiner是Map端的本地聚合操作，仅适用于计算逻辑符合交换律和结合律的场景（如求和、计数），如果是求平均值这类不符合交换律的计算，使用Combiner会导致最终结果错误。HDFS的文件写入完成后，默认不支持随机修改已写入的内容，仅支持追加写入或者删除整个文件。答案：正确解析：HDFS是面向“一次写入、多次读取”的场景设计的，默认不支持随机修改已写入的文件内容，仅支持追加写入和全文件删除操作。YARN的NodeManager是运行在每个从节点上的代理组件，负责管理该节点的容器和资源使用情况。答案：正确解析：NodeManager是YARN部署在每个工作节点的代理，负责接收ResourceManager的指令，管理本地节点的Container的启动、停止和资源监控，上报节点的资源使用情况给ResourceManager。Hadoop运行在伪分布式模式下时，所有的守护进程都运行在同一个物理节点上。答案：正确解析：伪分布式模式是在单节点上模拟分布式运行环境，所有Hadoop的守护进程（NameNode、DataNode、ResourceManager、NodeManager等）都运行在同一台物理机器上。MapReduce的Shuffle阶段仅发生在Reduce任务的执行过程中。答案：错误解析：Shuffle阶段横跨Map和Reduce两个阶段，包括Map端的分区、排序、溢写、合并，以及Reduce端的拉取、合并、排序等多个环节，并非仅发生在Reduce阶段。HDFS的数据块大小设置得越大，对应的Map任务数量越少，整个作业的执行效率就越高。答案：错误解析：块大小过大时，单个Map任务需要处理的数据量过大，任务执行时间过长，无法充分利用分布式集群的并行计算优势，反而会降低作业执行效率，块大小需要根据实际业务场景合理配置。四、简答题（共5题，每题6分，共30分）简述HDFS的核心特点。答案：第一，高可靠性，采用多副本存储机制，单个副本或节点故障时可以通过其他副本提供服务，自动实现故障转移，数据丢失风险极低；第二，高扩展性，支持动态新增或移除集群节点，可轻松扩展到上千节点的规模，支持PB级甚至EB级的数据存储；第三，高吞吐率，面向批量数据访问设计，支持高吞吐量的数据读写，适合离线大数据分析场景；第四，低成本，可运行在普通商用服务器上，不需要昂贵的高端存储硬件，大幅降低海量数据的存储成本。解析：本题共6分，每个核心特点1.5分，答出特点的核心含义即可得分，若有补充合理的特点可酌情给分。简述MapReduce的核心执行流程。答案：第一，输入分片阶段，InputFormat组件将输入数据切分为多个大小一致的分片，每个分片对应一个Map任务，分配到不同的节点运行；第二，Map阶段，每个Map任务读取对应分片的数据，按照业务逻辑处理后输出键值对结果；第三，Shuffle阶段，将Map端输出的键值对按照分区规则分发到对应的Reduce节点，经过排序、合并等处理后整理为有序的键值对，提供给Reduce任务；第四，Reduce阶段，每个Reduce任务读取对应分区的所有键值对，执行聚合计算后输出最终结果到存储系统。解析：本题共6分，每个流程阶段1.5分，需说明每个阶段的核心作用，若仅列出阶段名称得1分每点。简述YARN的核心功能。答案：第一，集群资源管理，统一管理整个集群的CPU、内存、磁盘等计算资源，统计资源的空闲和占用情况，按照应用需求分配资源；第二，任务调度，根据配置的调度器策略，将资源公平分配给不同的应用和任务，保障核心业务的资源优先级，提高集群资源利用率；第三，应用监控，实时监控所有运行应用的执行状态，当出现任务失败、节点故障等问题时自动触发任务重试，保障作业稳定运行；第四，多引擎兼容，支持MapReduce、Spark、Flink等多种不同类型的计算引擎运行在同一集群上，实现集群资源的统一管理，避免资源孤岛。解析：本题共6分，每个功能点1.5分，答出核心作用即可得分。简述HDFS中NameNode和DataNode的核心职责差异。答案：第一，角色定位不同，NameNode是HDFS的主节点，负责整个文件系统的管理调度；DataNode是HDFS的从节点，负责实际数据的存储；第二，存储内容不同，NameNode存储文件系统的元数据，包括目录结构、文件与块的映射、块的存储位置等；DataNode存储用户上传的文件的实际数据块和对应的校验信息；第三，交互逻辑不同，客户端读写数据时首先访问NameNode获取元数据信息，之后直接和DataNode交互完成数据的读写，NameNode不参与实际数据的传输；第四，可用性要求不同，NameNode是集群的单点，一旦故障整个HDFS集群无法访问，需要配置高可用机制保障可靠性；DataNode故障时集群可通过其他副本提供服务，不会影响整体可用性。解析：本题共6分，每个差异点1.5分，需明确区分两者的不同，若仅列出单个节点的职责得1分每点。简述MapReduce中Combiner和Reducer的核心区别。答案：第一，运行位置不同，Combiner运行在Map任务所在的节点，属于Map端的本地操作；Reducer运行在独立的Reduce节点，属于全局操作；第二，核心作用不同，Combiner的作用是减少Map端输出的数据量，降低网络IO开销，提升作业运行效率；Reducer的作用是对所有Map端输出的同一Key的数据做全局聚合，得到最终计算结果；第三，适用场景不同，Combiner仅适用于运算逻辑符合交换律和结合律的场景，不能随意使用；Reducer适用于所有需要聚合的场景，没有运算逻辑的限制；第四，输入数据范围不同，Combiner的输入是单个Map任务输出的键值对；Reducer的输入是所有Map任务输出的对应分区的全部键值对。解析：本题共6分，每个差异点1.5分，答出核心区别即可得分。五、论述题（共3题，每题10分，共30分）结合实际业务场景，论述HDFS在企业级大数据平台中的适用场景和不适用场景。答案：论点1：HDFS的适用场景HDFS的设计特性决定了它适合高吞吐、低访问频率、大数据量的存储场景，主要适用场景包括三类：第一，海量冷数据归档场景。企业运营过程中产生的历史日志、交易记录、备份数据等，数据量大、访问频率低，对存储成本敏感度高，HDFS的多副本、低成本特性可以大幅降低这类数据的存储成本。实例：某电商企业将过去多年的用户行为日志、交易记录全部存储在HDFS上，存储成本仅为传统高端存储的三分之一，同时满足后续离线分析的读取需求。第二，离线批量分析场景。企业的离线数据ETL、经营报表统计、用户画像计算等场景，需要批量读取TB甚至PB级别的数据，对吞吐量要求高、对延迟不敏感，HDFS的高吞吐特性可以很好地支撑这类场景。实例：某运营商企业每天对用户的通话、上网记录做批量统计，运行在HDFS上的分析任务可以在数小时内完成传统架构需要数天才能完成的计算工作。第三，非结构化大文件存储场景。视频、图片、音频、安装包等非结构化大文件，单文件大小从几MB到几GB不等，HDFS的大文件存储、多副本机制可以很好地支撑这类文件的存储和访问。实例：某内容平台将用户上传的短视频源文件存储在HDFS上，支撑后续的内容审核、特征提取等操作，存储空间利用率提升了40%。论点2：HDFS的不适用场景HDFS的设计缺陷决定了它不适合低延迟、小文件多、频繁更新的场景，主要不适用场景包括三类：第一，低延迟实时查询场景。HDFS的访问延迟在毫秒到秒级，无法支撑要求毫秒级响应的实时查询、在线交易等场景，这类场景适合使用HBase、分布式缓存等存储系统。第二，大量小文件存储场景。HDFS的元数据全部存储在NameNode的内存中，单个小文件也会占用固定的元数据空间，大量小文件会快速耗尽NameNode的内存，导致集群性能下降甚至无法运行，这类场景适合使用对象存储或小文件合并后再存储到HDFS。第三，频繁修改数据的场景。HDFS默认不支持随机修改已写入的文件，仅支持追加或删除，不适合电商交易、金融支付等需要频繁更新数据的在线业务场景。结论企业在使用HDFS时需要结合业务场景的特性选择，将合适的业务负载运行在HDFS上才能最大化发挥其优势，避免因为选型错误导致的性能或成本问题。解析：本题共10分，适用场景答出3类+对应实例得5分，不适用场景答出3类得5分，结合实际业务案例可酌情加分，未结合实例扣2分。论述MapReduce的优缺点，以及目前企业中MapReduce被Spark等新一代计算引擎替代的主要原因。答案：论点1：MapReduce的核心优势MapReduce作为第一代大数据计算引擎，核心优势包括三点：第一，高可靠性。MapReduce的容错机制非常完善，任务运行失败时会自动重试，单个节点故障不会影响整个作业的运行，适合运行对稳定性要求极高、对延迟不敏感的离线批量作业，早期很多企业的核心离线ETL作业都运行在MapReduce上，可实现无故障稳定运行数月。第二，编程门槛低。MapReduce的编程模型非常简单，开发者仅需要实现Map和Reduce两个函数即可完成分布式计算，不需要关注底层的分布式通信、容错等细节，学习成本很低。第三，扩展性强。MapReduce支持线性扩展，可轻松扩展到上千节点的集群，支撑PB级别的数据计算，完全满足早期企业的海量数据计算需求。论点2：MapReduce的核心缺点随着企业业务的发展，MapReduce的缺陷也逐渐暴露，核心缺点包括三点：第一，执行效率低。MapReduce的计算中间结果全部落地到磁盘，Shuffle阶段需要大量的磁盘IO和网络IO，作业执行延迟非常高，通常只能支撑小时级以上的离线作业，无法满足分钟级、秒级的计算需求。第二，编程灵活性差。MapReduce仅支持Map和Reduce两个阶段，复杂的计算逻辑需要拆分多个MapReduce作业串联实现，开发成本高，运维难度大，比如实现一个包含多轮聚合的机器学习特征工程任务，需要拆分十几个MapReduce作业，开发周期长达数周。第三，资源利用率低。MapReduce的Map和Reduce阶段的资源是独立分配的，Map阶段运行时Reduce阶段的资源处于空闲状态，整体集群资源利用率通常仅能达到30%到40%，资源浪费严重。论点3：MapReduce被Spark替代的主要原因Spark等新一代计算引擎针对MapReduce的缺陷做了大量优化，替代MapReduce的核心原因包括三点：第一，执行效率更高。Spark基于内存计算，中间结果优先存储在内存中，仅在必要时落地磁盘，执行效率是MapReduce的数倍到数十倍，可以支撑分钟级甚至秒级的离线计算，某互联网企业将原来的MapReduce日志分析作业迁移到Spark上之后，原来需要2小时运行的作业现在仅需要15分钟即可完成。第二，编程灵活性更强。Spark支持RDD、DataFrame等多种编程接口，支持SQL、流计算、机器学习等多种计算场景，不需要拆分多个作业即可实现复杂的计算逻辑，开发效率提升数倍。第三，资源利用率更高。Spark采用动态资源分配机制，可以根据作业的运行情况动态调整资源占用，整体集群资源利用率可以提升到60%以上，大幅降低集群的运行成本。结论MapReduce虽然稳定性高，但性能和灵活性已经不能满足现在企业的多样化计算需求，因此逐渐被Spark等新一代计算引擎替代，但在一些对稳定性要求极高、对延迟不敏感的老旧系统中仍有使用。解析：本题共10分，MapReduce优缺点答出核心点得6分，替代原因答出核心点得4分，结合实际案例可酌情加分，未结合实例扣2分。结合Hadoop的高可用机制，论述企业搭建Hadoop生产集群时需要做哪些高可用配置来保障集群的稳定运行。答案：论点1：HDFS层面的高可用配置HDFS是整个大数据平台的存储底座，其可用性直接影响所有上层业务，需要做三类高可用配置：第一，配置NameNode高可用。部署主备两个NameNode节点，通过ZooKeeper实现故障自动切换，主NameNode故障时备用NameNode可以在几十秒内切换为Active状态提供服务，避免单点故障。实例：某企业早