hadoop2从入门到精通6班课件随堂高级

1、2016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREIT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE课程要求课上课下“九字”真言认真听，善摘录，勤思考多温故，乐实践，再发散四不原则不懒散惰性，不早退不请假，不拖延作业一点注意事项“四不原则”，不包就业和推荐就业2/1912016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE本次学习内容HDFS HA 架构原理设计HDFS HA 部署、启动与测试HDFS HA自动故障转移与测试ResourceManager HA 架构原理R

2、esourceManager HA 配置、部署、启动与测试NameNode Federation架构原理NameNode Federation 配置与测试Hadoop2.x自带工具distcp使用3/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA简介HDFS集群架构会遇到什么问题？NameNode单点故障，升级集群必须中断服务如何保障HDFS高可用性（High Available）？4/1922016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA设计思路HDFS HA，本质上就是将据

3、文件fsimage和edits文件进行备份，防止据信息丢失，通过部署两个NameNode进行主备切换实现高可用技术难点及实现思路：其一，两个NameNode的数据要实时保证一致，可以将Active NameNode的edits文件拷贝到一个共享文件系统里，然后由Standby NameNode同步过来；其二，Active NameNode故障发生时，要能够自动检测，并且还要能够自动将Standby NameNode切换为Active NameNode，故障发生，到被检测到、Standby NameNode切换为Active NameNode之间的时间间隔不能太长。目前企业内使用较广泛的解决方案

4、是借助于ZooKeeper和QJM5/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA with Quorum Journal Manager架构6/1932016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA配置、部署与测试参照文档hdfs/HDFSHighAvailabilityWithQJM.html一：初始化JournalNode时，需要将所有JournalNode节点启动，然后在其中一个NameNode节点上执行hdfs namenode -initializeSharedE

5、dits命令，但注意此时不能启动NameNode节点二：同步第二个NameNode节点执行hdfs namenode -bootstrapStandby据，需要启动第一个NameNode 节点，然后7/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA 自动故障转移与测试ZKFC：ZooKeeper FailoverController，ZooKeeper客户端，负责NameNode的状态功能：各自节点上的NameNode的健康状态和管理作为ZooKeeper客户端，当负责的NameNode进程属于健康状态，与ZooKeeper Server端

6、保持Session连接，即在Zookeeper上创建Ephemeral Znode基于ZooKeeper实现主节点8/1942016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHDFS HA 自动故障转移与测试9/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREResourceManager HA架构原理集群配置并启动两个ResourceManager，其中一个作为Active RM，另一个作为Standby RM。借助于ZooKeeper实现故障检测、主备自动切换10/1952016-6-4IT教育品牌EDU

7、CATION TO CREATE A BRIGHT FUTUREResourceManager HA 配置、部署、启动与测试参考官网site/ResourceManagerHA.html11/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE为什么需要NameNode Federation通过部署HDFS HA，解决了NameNode单点故障问题，但是当随着数据量逐渐增大时，会出现什么问题？设想一下，随着的文件数据增多，NameNode需要会达到内存瓶颈；的据信息量也将增大，最终公司内多个不同业务部门，都需要将数据在HDFS上进行分析处理，单NameNode

8、情况不适应多用户并发写操作，并且难以做到较好的相互12/1962016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federation概念FederationNameNode Federation : Multiple NameNodes / Namespaces 多NameNodes/文件命名空间即采用配置多个NameNode方式进行水平扩展，以此解决NameNode据量达到内存瓶颈，或者多业务数据问题13/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federatio

9、n架构原理一HDFS有两层结构：命名空间（NameNode负责）：管理文件、目录和数据块，支持常见的文件系统操作，如创建、删除、修改和列出文件、目录数据块Block服务：1）数据块管理（NameNode负责）通过处理DataNode、心跳信息管理DataNode成员处理Block Report，维护Block位置信息支持对Block进行创建、删除、修改、查看位置信息等操作管理Block的备份数，包括增加备份数和删除多余的备份数2）数据块（DataNode）：实际在本地磁盘上Block数据，提供数据读写14/1972016-6-4IT教育品牌EDUCATION TO CREATE A BRIGH

10、T FUTURENameNode Federation架构原理二15/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federation架构原理三部署多个NameNode节点，不同NameNode之间相互，且不需要互相通信DataNode作为所有NameNode共享的Block节点DataNode上的所有Block被单独的Block Pool到相应的Block Pool中，NameNode拥有各种每个DataNode向所有NameNodeDataNode周期性发生心跳信息和Block报告信息给所有NameNodeDataNode处理来自所有NameNode集群中所有节点的ClusterId保持一致令16/1982016-6-4IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURENameNode Federation部署、安装与测试详见word文档参考官网dist/hadoop-hdfs/Federation.html17/19IT教育品牌EDUCATION TO CREATE A BRIGHT FUTUREHadoop2.x自带工具distcp使用distcp：Distributed Copy 分布式拷