Hadoop技术试题及答案

Hadoop技术试题及答案一、选择题（每题2分，共20分）1.HDFS默认数据块大小是（）A.32MBB.64MBC.128MBD.256MB答案：C2.以下哪项不是Hadoop2.x核心组件？（）A.HDFSB.MapReduceC.YARND.HBase答案：D（HBase是Hadoop生态组件，非核心）3.NameNode存储的元数据不包括（）A.文件块位置B.文件权限C.文件内容D.文件目录结构答案：C（文件内容存储在DataNode）4.MapReduce中，Shuffle阶段的主要任务是（）A.数据输入B.数据分区与排序C.结果输出D.任务调度答案：B5.YARN中负责资源管理和调度的组件是（）A.NodeManagerB.ApplicationMasterC.ResourceManagerD.Container答案：C6.HDFS副本放置策略中，第二个副本通常存储在（）A.同一节点B.同一机架的不同节点C.不同机架的节点D.随机节点答案：B7.Hive的底层执行引擎默认是（）A.MapReduceB.SparkC.TezD.Flink答案：A8.HBase的RowKey在存储时的排序方式是（）A.字典序B.数值序C.时间序D.随机序答案：A9.ZooKeeper中，客户端与服务器保持连接的机制是（）A.心跳检测B.选举机制C.事务日志D.数据同步答案：A10.以下哪项不是Hadoop集群常见的硬件配置要求？（）A.高CPU主频B.大容量磁盘C.多网卡冗余D.足够内存答案：A（Hadoop侧重分布式计算，对单CPU性能要求不高）二、填空题（每空2分，共20分）1.Hadoop的核心设计思想是________和________（分而治之、分布式存储与计算）2.HDFS的两种安全模式是________和________（只读模式、维护模式）3.MapReduce任务分为________和________两个阶段（Map、Reduce）4.YARN的资源分配单位是________（Container）5.Hive中，外部表删除时不会删除________（HDFS数据文件）6.HBase的存储模型是________（列式存储）7.ZooKeeper的典型应用场景包括________、________（分布式锁、配置管理）8.Hadoop集群中，________进程负责管理DataNode（NameNode）三、简答题（每题8分，共40分）1.简述HDFS的写数据流程。答案：客户端调用FileSystem.create()请求创建文件；NameNode检查权限和路径，确认文件不存在后返回可写状态；客户端通过DFSOutputStream将数据分块（默认128MB），与最近的DataNode建立Pipeline（副本数默认3）；数据按Pipeline顺序传输（客户端→DataNode1→DataNode2→DataNode3），每个节点确认接收后向客户端发送确认；所有副本写入完成后，客户端调用complete()通知NameNode提交文件，NameNode更新元数据。2.说明MapReduce中Shuffle阶段的具体步骤。答案：Shuffle阶段连接Map和Reduce，步骤包括：（1）Map输出写入内存缓冲区（默认100MB），达到80%阈值时溢写磁盘，溢写前按分区（Partition）和键排序；（2）多个溢写文件合并为大文件，保持分区内排序；（3）Reduce通过HTTP拉取对应分区的数据；（4）Reduce端合并来自不同Map的数据（归并排序），按键分组后输入Reduce函数处理。3.YARN如何实现任务调度？答案：YARN通过ResourceManager（RM）和NodeManager（NM）协作调度。RM负责全局资源管理，NM管理节点资源。用户提交作业时，RM为作业分配第一个Container启动ApplicationMaster（AM）；AM向RM请求资源（CPU、内存），RM返回可用资源后，AM与对应NM通信启动Container运行任务（Map/Reduce）；NM监控Container资源使用，向RM汇报状态，AM监控任务进度并向RM反馈。4.对比HDFS与传统文件系统（如EXT4）的差异。答案：（1）设计目标：HDFS针对大数据存储（GB-TB级），传统文件系统针对小文件（KB-MB级）；（2）容错性：HDFS通过副本机制（默认3副本）容错，传统文件系统依赖RAID或备份；（3）访问模式：HDFS支持一次写入多次读取（流式访问），传统文件系统支持随机读写；（4）硬件要求：HDFS运行在普通商用机集群，传统文件系统依赖高性能单机。5.简述HBase的RegionServer故障恢复流程。答案：ZooKeeper检测到RegionServer宕机后通知Master；Master将宕机RegionServer管理的Region重新分配给其他存活RegionServer；新RegionServer从HDFS加载对应HLog（预写日志），回放日志恢复未持久化数据；Region重新上线，客户端通过ZooKeeper更新Region位置信息，恢复服务。四、操作题（每题10分，共20分）1.写出以下HDFS操作的命令：（1）在HDFS根目录下创建目录/user/hadoop/test；（2）将本地文件/opt/data.txt上传到HDFS的/user/hadoop/test目录；（3）查看HDFS中/user/hadoop/test/data.txt的内容。答案：（1）hdfsdfs-mkdir-p/user/hadoop/test（2）hdfsdfs-put/opt/data.txt/user/hadoop/test（3）hdfsdfs-cat/user/hadoop/test/data.txt2.某Hadoop集群需将HDFS默认块大小调整为256MB，写出具体配置步骤及涉及的配置文件。答案：步骤：（1）修改hdfs-site.xml文件，添加或修改属性<property><name>dfs.blocksize</name><value>268435456</value></property>（256MB=25610241024=268435456字节）；（2）若需对已存在文件生效，需使用hdfsdfs-setrep-w-blocksize256m/path命令重新设置块大小（需重新复制数据）；（3）重启NameNode和DataNode使配置生效（hadoop-daemon.shrestartnamenode；hadoop-daemon.shrestartdatanode）。答案：步骤：（1）修改hdfs-site.xml文件，添加或修改属性<property><name>dfs.blocksize</name><value>268435456</value></property>（256MB=25610241024=268435456字节）；（2）若需对已存在文件生效，需