《大数据平台部署与运维》课件-NameNode单节点故障的风险预防

《大数据平台部署与运维》《大数据平台部署与运维》课程组NameNode单节点故障的风险预防

NameNode单节点故障的风险预防

单节点故障常规解决方案就是建立高可用的Hadoop，系统中存在2个以上的NameNode节点，能够有效NameNode单节点故障。单节点故障解决方案

NameNode单节点故障的风险预防需要三台虚拟机：master1、master2、slave。三台虚拟机之间Zookeeper已经安装成功。三台虚拟机之间的Hadoop集群模式已经部署完毕。1.准备工作

高可用模式搭建之前的清理工作。停止集群模式Hadoop：在master1主机中执行stop-all.sh命令。删除master2、slave主机的Hadoop系统目录。删除master1主机Hadoop系统的tmp目录，并重建tmp目录。NameNode单节点故障的风险预防在master1虚拟机上编写高可用模式(HA)的配置文件。NameNode单节点故障的风险预防在master1虚拟机上编写高可用模式(HA)的配置文件。NameNode单节点故障的风险预防编辑core-site.xml文件（3个属性值）。NameNode单节点故障的风险预防编辑mapred-site.xml文件（3个属性值）。NameNode单节点故障的风险预防编辑yarn-site.xml文件（8个属性值）。NameNode单节点故障的风险预防编辑slaves文件。hadoop-env.sh、yarn-env.sh、mapred-env.sh三个配置文件中设置JAVA_HOME的值，增加以下语句。（=号后面的内容以实际情况为准）exportJAVA_HOME=/usr/local/jdkNameNode单节点故障的风险预防在master1虚拟机上分发文件到其它虚拟机。NameNode单节点故障的风险预防将master1上的~/.bashrc文件分发到master2、slave，并加载。NameNode单节点故障的风险预防初始化集群（首次启动）。NameNode单节点故障的风险预防在master1虚拟机上执行格式化命令。在master1虚拟机上启动namenode进程。在master2虚拟机上同步master1上namenode的元数据。NameNode单节点故障的风险预防在master1虚拟机上停止namenode进程。在master1虚拟机上启动三台虚拟机的datanode进程。NameNode单节点故障的风险预防在master1虚拟机上初始化zkfc。在master1、master2虚拟机上单步启动zkfc。在master1、master2虚拟机上单步启动namenode。在master1、master2虚拟机上单步启动resourcemanage进程。自此，初始化工作完成，最后，检查三台虚拟机的进程。重启高可用模式Hadoop停止命令：在master1主机上执行stop-all.sh。单独停止master2主机上的resourcemanage进程。启动高可用Hadoop集群。执行命令：start-all.sh检查三台虚拟机的进程。查看master1与master2的web界面。手工停止master2主机的namenod