数据库技术改造方案v2.0

1、数据库技术改造方案V2.01.背景XXXXX系统，其数据库内存放的数据量较大且要求读写速度快，目前利用的Couchbase数据库虽然能满足读写速度上的要求，但服务器必须满足较大内存且各个服务节点服务器）都是对等存在的，一个节点出现问题并不会影响其他节点正常运行，但总内存容量会缩小。当前通过对XXXXX更多数据存储到内存，以达到提高数据的读写速率；现把两台服务器内存合并为一个内存bucket,这样的方案导致一台机器出现宕机时failover过程有不可用时间，并且部分数据有丢失的可能，且在高负载系统上有假死现象；如果再增加节点且节点的内存只有达到或超过当前节点才能发挥服务器的性能，否则就要缩减Co

2、uchbase建立的bucket的占用内存，服务器就不能合理发挥它的性能作用，由此拥有大量的对比数据就需要提供更好且合理的NOSQL数据库。Couchbase数据库本身也存在以下缺点：.Couchbase的存储方式为Key/Value,但Value的类型很为单一，不支持数组。另外也不会自动创建docid，需要为每一文档指定一个用于存储的DocumentIndentifer;各种组件拼接而成，都是C+实现，导致复杂度过高，遇到奇怪的性能问题排查比较困难，（中文）文档比较欠缺；采用缓存全部key的策略，需要大量内存。节点宕机时failover过程有不可用时间，并且有部分数据丢失的可能，在高负载系统

3、上有假死现象；逐渐倾向于闭源，社区版本（免费，但不提供官方维护升级）和商业版本之间差距比较大。2.目前结构从结构和实际应用看，XXXXX存在问题：1对比数据量较大2、只有两台服务器只能做到内存扩展无法做到failover;3、内存数据达到一定比例，再写入数据效率降低；4假如再添加节点就要求节点的内存必须接近当前两台节点的内存配置，否则就发挥不了现有节点的性能。3数据库对比Hbase是一个运行在Hadoop上的分布式和可扩展的大数据仓库，其优点如下：1需要的是硬盘空间，能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着Hbase存储容量大，一个表可以容

4、纳上亿行，上百万列；2、可通过版本进行检索，能搜到所需的历史版本数据；3负载高时，可通过简单的添加机器来实现水平切分扩展，跟Hadoop的无缝集成保障了其数据可靠性（HDFS）和海量数据分析的高性能（MapReduce）;4、也可有效避免单点故障的发生。Hbase与目前所用数据库Couchbase在某些方面的对比情况，如下面列表所示:项目HBASECOUCHBASE分片信息每个server，诜主数据格式二进制json固化方式般架设在hdfs上，可以认为是一个分布式内存索引系统Couchstore/ForestDB负载均衡自动均衡，迁移主备方式分布式内存索引，无主备索引支持仅按key排序主/二级

5、过滤器服务器端服务器端编程协处理器。启动时放到服务器端，配置（不能动态上传）批量写入支持直接从hdfs加载文件不支持读写内存可以根据情况调整定义后不可改通过以上hbase和couchbase数据库的对比列表可知，在某些方面使用hbase要好于couchbase。集群中进程名称及作用:NameNode【支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作】DFSZKFailoverController【HadoopHa进程维持namenode高可用】JournalNode【保证hadoopHa的高可用（一般启动2n+1个）】JobHistoryServer【

6、可以该服务查看已经运行完了的作业记录】ResourceManager【管理集群资源分配，接收NodeManager的资源汇报】DataNode【调度存储和检索数据】NodeManager【负责在单个节点上执行MapReduce任务】QuorumPeerMainzookeeper独立的进程,ZooKeeper作用包括管理Hadoop集群中的NameNode,HBase中HBaseMaster的选举，Servers之间状态同步等】HMaster管理和分配HRegion、HRegionServer负载均衡、权限控制、实现DDL操作】HRegionServer【维护HMaster分配给他的region

7、，处理对这些region的io请求负责切分正在运行过程中变的过大的region】zookeeper【实现namenode和HMaster主从节点的failover存放HBase集群的元数据以及集群的状态信息】JobClientHadoopCoreJobClientHadoopCoreHBascClusterre-sponsa-ZooKeeperClusterHbase+Hadoop+Zockeeper关系圏4.设计与实施使用Hbase1.00+Hadoop2.60+Zookeeper3.4.6替换原NOSQL数据库Couchbase原2台服务器+后添5台服务器共同组成一个Hbase分布式数据集

8、群。-HDFSHMasterSlaveMasterservers7ceK口qna严oNamaNodeHMasteractiveZooKacperiNodeHDFS|Dgta|RegionServerHDFSy-DataNodeHegion/ServerRegion/pArverRegionerRGtoTiN亟ServerjNdjfRgiortRegiorTeryerServer-JNodP1Ntjds架构图清晰地表达了HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由HMaster节点、HRegionServer节点、ZooKeeper集群等节点组成，而在底层

9、，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等；HMaster和NameNode都支持多个热备份，使用ZooKeeper来做协调；ZooKeeper并不是云般神秘，它一般由三台机器组成一个集群，内部使用PAXOS算法支持三台Server中的一台宕机，在本次设计中使用五台机器，此时则可以支持同时两台宕机，既少于半数的宕机；把RegionServer和DataNode放在相同的Server上实现数据的本地化。主机规划：主机名IP安装的软件运行的进程master192.168.XXX.111jdk、hadoop、hbaseNN、RM、DFSZKFailoverC

10、ontroller(zkfc)、Hmaster、JobHistoryServermaster2192.168.XXX.112jdk、hadoop、hbaseNN、RM、DFSZKFailoverController(zkfc)、Hmasterslavel192.168.XXX.113jdk、hadoop、zookeeper、hbaseDN、NM、JournalNode、QuorumPeerMain、HRegionServerslave2192.168.XXX.114jdk、hadoop、zookeeper、hbaseDN、NM、JournalNode、QuorumPeerMain、HRegio

11、nServerslave3192.168.XXX.115jdk、hadoop、zookeeper、hbaseDN、NM、JournalNode、QuorumPeerMain、HRegionServerslave4192.168.XXX.116jdk、hadoop、zookeeper、hbaseDN、NM、JournalNode、QuorumPeerMain、HRegionServerslave5192.168.XXX.117jdk、hadoop、zookeeper、hbaseDN、NM、JournalNode、QuorumPeerMain、HRegionServer这里采用HadoopHa的Q

12、JM方案，该方案由两个NameNode构成，一个处于active状态，另一个处于Standby状态，用于NameNode的备份和切换，ActiveNameNode对外提供服务，而StandbyNameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。在方案中配置独立的zookeeper集群一方面用于ZKFCfDFSZKFailoverController)故障转移，当ActiveNameNode挂掉了，会自动切换StandbyNameNode为Active状态；另一作用配置zookeeper集群负责的工作就是存储HBase的Schema，实时监

13、控HRegionServer存储所有Region的寻址入口，当然还有最常见的功能就是保证HBase集群中只有一个Master，实现HMaster主从节点的failover。采用HRegionServer和DataNode运行在相同的服务器上实现数据的本地化，提升读写性能，并减少网络压力。目录规划:名称路径所有软件目录/application/hadoop/app/所有数据和日志目录/data/hadoop/3.1集群安装前的环境检查登录名/密码:root/XXXXX|hadoop/hadoop时钟同步所有节点的系统时间要与当前时间保持一致。查看当前系统时间rootmaster1#dateSun

14、Apr2404:52:48PDT2016如果系统时间与当前时间不一致,进行以下操作。rootmaster1#cd/usr/share/zoneinfo/rootmaster1zoneinfo#ls/找到Asia进入Asia目录rootmaster1zoneinfo#cdAsia/rootmaster1Asia#ls/找到Shanghairootmaster1Asia#ls/找到Shanghairootmaster1Asia#cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime/当前时区替换为上海我们可以同步当前系统时间和日期与NTP（网络时间协议）

15、一致。rootmaster1Asia#yuminstallntp/如果ntp命令不存在，在线安装ntprootmaster1Asia#/执行此命令同步日期时间rootmaster1Asia#date/查看当前系统时间时间同步服务端vi/etc/ntp.conf#restrict#restrict-6:1server#localclockfudgestratum10vi/etc/ntp/step-tickers加入一行：这样每次ntpd启动时，会自动连接该国际标准时间服务器；servicentpdstartnetstat-an|grep123#确保该端口以udp方式开放时间同步客户端vi/etc

16、/ntp.conf#restrict#restrict-6:1server11ntpdate11crontab-e01*/usr/sbin/ntpdate11#每隔1小时同步一次时间/sbin/servicecrondstart启动服务/sbin/servicecrondstop关闭服务/sbin/servicecrondrestart重启服务/sbin/servicecrondreload/重新载入配置servicecrondstatushosts文件检查所有节点的hosts文件都要配置静态ip与hostname之间的对应关系。vi/etc/hostsXXX.111master1XXX.11

17、2master2XXX.113slave1XXX.114slave2XXX.115slave3XXX.116slave4XXX.117slave5禁用防火墙所有节点的防火墙都要关闭。查看防火墙状态serviceiptablesstatusiptables:Firewallisnotrunning.如果不是上面的关闭状态，则需要关闭防火墙。chkconfigiptablesoff/永久关闭防火墙serviceiptablesstop修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=localhost.localdomain/改为主机名保存并输

18、入reboot命令，重新启动服务器。添加hadoop并进行sudo授权管理/usr/sbin/groupaddhadoop/usr/sbin/useraddhadoop-ghadooppasswdhadoop/修改密码为hadooprootmaster1#visudorootALL=(ALL)ALL此行下，添加如下内容hadoopALL=(ALL)ALL创建hadoop工作目录/数据目录su-rootmkdir-p/application/hadoopmkdir-p/data_sdb/hadoopmkdir-p/data_sdb/hadoop/hdfs/namenodemkdir-p/data

19、_sdb/hadoop/hdfs/datanodemkdir-p/data_sdb/hadoop/hdfs/namesecondarymkdir-p/data_sdb/hadoop/hdfs/tmpmkdir-p/data_sdb/hadoop/hdfs/journal修改目录权限chown-Rhadoop:hadoop/application/hadoopchown-Rhadoop:hadoop/data_sdb/hadooprootmaster1$vi/etc/security/limits.confrootsoftnofile65535roothardnofile65535rootsof

20、tnproc32000roothardnproc32000rootmaster1$vi/etc/pam.d/loginsessionrequiredpam_limits.so3.2配置SSH免密码通信hadoopmaster1$mkdir.sshhadoopmaster1$chmod755.ssh/将权限改为755hadoopmaster1$cd.sshhadoopmaster1$ssh-keygen-trsa-P/执行命令一路回车，生成秘钥hadoopmaster1.ssh$lsauthorized_keysid_rsaid_rsa.pubknown_hostshadoopmaster1.s

21、sh$catid_rsa.pubauthorized_keys/将公钥保存到hadoopmaster1.ssh$chmod600authorized_keysauthorized_keys认证文件中/注意：authorized_keys的权限为600备注：”公钥登录”，原理，即用户将自己的公钥储存在远程主机上。登录的时候，远程主机会向用户发送一段随机字符串，用户用自己的私钥加密后，再发回来。远程主机用事先储存的公钥进行解密，如果成功，就证明用户是可信的，直接允许登录shell，不再要求密码。集群所有节点都要行上面的操作。将所有节点中的共钥id_ras.pub拷贝到djt11中的authoriz

22、ed_keys文件中。cat/.ssh/id_rsa.pub|sshhadoopmaster1cat/.ssh/authorized_keys所有节点都需要执行这条命令然后将masterl中的authorized_keys文件分发到所有节点上面。scp-rauthorized_keyshadoopmaster2:/.ssh/scp-rauthorized_keyshadoopslave1:/.ssh/scp-rauthorized_keyshadoopslave2:/.ssh/scp-rauthorized_keyshadoopslave3:/.ssh/scp-rauthorized_keys

23、hadoopslave4:/.ssh/scp-rauthorized_keyshadoopslave5:/.ssh/测试：sshmaster2date3.3JDK安装通过上传工具上传JDk安装包至U/home/hadoop/app用root用户登陆到系统，打开一个终端输入卸载rpm版的jdk:#rpm-qa|grepjdk显示:jdk-1.6.0_10-fcs卸载:#rpm-e-nodepsjdk-1.6.0_10-fcsrootmaster1#chown-Rhadoop:hadoopjdk-8u60-linux-x64.gzhadoopmaster1$cpjdk-8u60-linux-x64

24、.gz/application/hadoop/hadoopmaster1hadoop$chmod755jdk-8u60-linux-x64.gzhadoopmaster1$tar-zxvfjdk-8u60-linux-x64.gzhadoopmaster1$ln-sjdk1.8.0_60/jdkhadoopmaster1$su-rootvi/etc/profile.d/java.shexportJAVA_HOME=/application/hadoop/jdkexportPATH=$JAVA_HOME/bin:$PATHrootmaster#source/etc/profilerootmast

25、er#echo$JAVA_HOME/application/hadoop/jdkhadoopmaster1source/etc/profilehadoopmaster1java-version3.4Hadoop安装rootmaster1#chown-Rhadoop:hadoophadoop-2.6.0.tar.gz检查用户hadoopchown-Rhadoop:hadoop/application/hadoop/chown-Rhadoop:hadoop/data/hadoop/hadoopmaster1$cphadoop-2.6.5.tar.gz/application/hadoop/hado

26、opmaster1$tar-zxvfhadoop-2.6.5.tar.gzhadoopmaster1$ln-shadoop-2.6.5/hadoophadoopmaster1$su-rootvi/etc/profile.d/java.shexportHADOOP_HOME=/application/hadoop/hadoopexportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATHrootmaster1#source/etc/profilerootmaster1#echo$HADOOP_HOME/application/hadoop/hadoophadoo

27、pmaster1hadoop$source/etc/profile测试hadoopmaster1hadoop$jps1140Jps3.5修改Hadoop配置文件（Hadoop用户下）修K$HADOOP_HOME/etc/hadoop/slaves文件，加入所有slave节点的hostnameslave1slave2slave3slave4slave5修K$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件exportJAVA_HOME=/application/hadoop/jdk修K$HADOOP_HOME/etc/hadoop/yarn-env.sh文件expor

28、tJAVA_HOME=/application/hadoop/jdk修改core-site.xml文件rootmaster1hadoop#vicore-site.xmlfs.defaultFShdfs:/mastershadoop.tmp.dir/data_sdb/hadoop/hdfs/tmpha.zookeeper.quorumslave1:2181,slave2:2181,slave3:2181,slave4:2181,slave5:2181io.native.lib.availableTRUE修改hdfs-site.xmlhbase.rootdirhdfs:/masters/hbase

29、servicesmastersnodes.mastersnn1,nn2node.rpc-address.masters.nn1master1:9000node.http-address.masters.nn1master1:50070node.rpc-address.masters.nn2master2:9000node.http-address.masters.nn2master2:50070node.shared.edits.dirqjournal:/slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mastersdfs

30、.journalnode.edits.dir/data_sdb/hadoop/hdfs/journal.dir/data_sdb/hadoop/hdfs/namenodedfs.datanode.data.dir/data_sdb/hadoop/hdfs/datanodedfs.ha.automatic-failover.enabledtruevider.mastersnode.ha.ConfiguredFailoverProxyProviderdfs.ha.fencing.methodssshfenceshell(/bin/true)dfs.ha.fencing.ssh.private-ke

31、y-files/home/hadoop/.ssh/id_rsadfs.ha.fencing.ssh.connect-timeout30000dfs.replication2dfs.datanode.max.xcievers4096修改mapred-site.xmlyarnmapreduce.jobhistory.addressmaster1:10020mapreduce.jobhistory.webapp.addressmaster1:19888mapreduce.jobhistory.joblist.cache.size20000修改yarn-site.xmlyarn.resourceman

32、ager.ha.enabledtrueyarn.resourcemanager.cluster-idyarn-clusteryarn.resourcemanager.ha.rm-idsrm1,rm2yarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduleryarn.resourcemanager.ha.automatic-failover.recover.enabledTRUEyarn.resourcemanager.hostname

33、.rm1master1yarn.resourcemanager.hostname.rm2master2yarn.resourcemanager.recovery.enabledtrueerval-ms5000v!-RM状态信息存储方式，一种基于内存(MemStore),另一种基于ZK(ZKStore)注：hadoop2.4以后版本才支持，所以为了使用本处安装hadoop2.6.5-yarn.resourcemanager.store.classorg.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStoreyarn.re

34、sourcemanager.zk-addressslave1:2181,slave2:2181,slave3:2181,slave4:2181,slave5:2181yarn.resourcemanager.zk.state-store.addressslave1:2181,slave2:2181,slave3:2181,slave4:2181,slave5:2181yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.address.rm1master1:23140yarn.resourcemanager.add

35、ress.rm2master2:23140yarn.resourcemanager.scheduler.address.rm1yarn.resourcemanager.scheduler.address.rm1master1:23130yarn.resourcemanager.scheduler.address.rm2master2:23130yarn.resourcemanager.admin.address.rm1master1:23141yarn.resourcemanager.admin.address.rm2master2:23141yarn.resourcemanager.reso

36、urce-tracker.address.rm1master1:23125yarn.resourcemanager.resource-tracker.address.rm2msater2:23125yarn.resourcemanager.webapp.address.rm1master1:23188yarn.resourcemanager.webapp.address.rm2master2:23188yarn.resourcemanager.webapp.https.address.rm1master1:23189yarn.resourcemanager.webapp.https.addre

37、ss.rm2master2:231893.6.安装配置zooekeeperrootmaster1#chown-Rhadoop:hadoopzookeeper-3.4.6.tar.gzhadoopmaster1$cpzookeeper-3.4.6.tar.gz/application/hadoop/hadoopmaster1$tar-zxvfzookeeper-3.4.6.tar.gzhadoopmaster1$In-szookeeper-3.4.6/zookeeperZookeeper环境变的配置hadoopmaster1$su-rootvi/etc/profile.d/java.shexpo

38、rtZOOKEEPER_HOME=/application/hadoop/zookeeperexportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$PATHrootmaster1#source/etc/profilerootmaster1#echo$ZOOKEEPER_HOME更改配置文件将conf/zoo_sample.cfg改成conf/zoo.cfg,对zoo.cfg进行更改dataDir=/application/hadoop/zookeeper/var/datadataLogDir

39、=/application/hadoop/zookeeper/var/datalogclientport=2181server.1=slave1:2888:3888server.2=slave2:2888:3888server.3=slave3:2888:3888server.4=slave4:2888:3888server.5=slave5:2888:3888maxClientCnxns=150#最大连接数在DataDir路径下创建myid文件根据配置文件的dataLogDir路径mkdir-p/application/hadoop/zookeeper/var/datalog文件夹mkdir

40、-p/application/hadoop/zookeeper/var文件夹mkdir-p/application/hadoop/zookeeper/var/data文件夹vi/application/hadoop/zookeeper/var/data/myid文件例如:hadoopmaster1echo5/application/hadoop/zookeeper/var/data/myid将配置好的zookeeper拷贝到其他节点修改slave1、slave2、slave3、slave4、slave5对应/application/hadoop/zookeeper/var/data/myid内

41、容1、2、3、4、53.7.安装HBASErootmaster1#chown-Rhadoop:hadoophbase-0.98.23-hadoop2-bin.tar.gzhadoopmaster1$cphbase-0.98.23-hadoop2-bin.tar.gz/application/hadoop/hadoopmaster1$tar-zxvfhbase-0.98.23-hadoop2-bin.tar.gzhadoopmaster1$In-shbase-0.98.23/hbaseHbase环境变量的配置hadoopmaster1$su-rootvi/etc/profile.d/java.s

42、hexportHBASE_HOME=/application/hadoop/hbaseexportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$PATHrootmaster1#source/etc/profilerootmaster1#echo$HBASE_HOME修改conf目录下的3个文件(hbase-env.sh,hbase-site.xml,regionservers文件)修改hbase-env.sh文件#添加exportJAVA_HOME二/application/hadoop/jd

43、kexportHBASE_MANAGES_ZK二falseexportHBASE_HEAPSIZE=8000根据实际情况修改exportHBASE_LOG_DIR二/application/hadoop/hbase/logs修改conf/hbase-site.xmlhbase.rootdirhdfs:/masters/hbasehbase.cluster.distributedtruehbase.zookeeper.quorumslave1,slave2,slave3,slave4,slave5perty.dataDir/application/hadoop/zookeeper/var/dat

44、aperty.dataLogDir/application/hadoop/zookeeper/var/datalogzookeeper.session.timeout60000hbase.regionserver.handler.countvvalue100v/valuev/property#20改为100hbase.regionserver.hlog.splitlog.writer.threads10vnamehbase.snapshot.enabledv/name#快照功能，默认是false（不开启），建议设为truevvaluetruev/valuev/propertyvproperty

45、vnameperty.clientPortv/namevvalue2181v/valuev/propertyvpropertyvnamehbase.replicationv/namevvalueTRUEv/valuev/propertyvpropertyvnamereplication.source.size.capacityv/namevvalue4194304v/valuev/propertyvpropertyvnamereplication.source.nb.capacityv/namevvalue2000v/valuereplication.source.ratio1hbase.ba

46、lancer.period15000Hbase配置文件core-site.xml与hdfs-site.xml配置文件与Hadoop配置文件保持一致core-site.xmlhbase.rootdirhdfs:/masters/hbaseservicesmastersnodes.mastersnn1,nn2node.rpc-address.masters.nn1master1:9000node.http-address.masters.nn1master1:50070node.rpc-address.masters.nn2master2:9000node.http-address.masters

47、.nn2master2:50070node.shared.edits.dirqjournal:/slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mastersdfs.journalnode.edits.dir/data_sdb/hadoop/hdfs/journal.dir/data_sdb/hadoop/hdfs/namenodedfs.datanode.data.dir/data_sdb/hadoop/hdfs/datanodedfs.ha.automatic-failover.enabledtruevider.mas

48、tersnode.ha.ConfiguredFailoverProxyProviderdfs.ha.fencing.methodssshfenceshell(/bin/true)dfs.ha.fencing.ssh.private-key-files/root/.ssh/id_rsadfs.ha.fencing.ssh.connect-timeout30000dfs.replication2修改regionserversviregionserversslave1slave2slave3slave4slave53.8打包文件针对/application文件夹进行打包拷打master2,slave

49、1,slave2,slave3,slave4,slave5机器上，放到与master1一样的路径下，且用户权限一致。1更改$ZOOKEEPER_HOME/var/data/myid文件3.9首次启动/格式化集群hadoop+zookeeper+hbase1启动Zookeeper分别在每个机器上运行命令zkServer.shstart或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.shstart命令。然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain。启最后一个zookeeper节点后可通过zkServer.shstatus命令来查看

50、Zookeeper状态。正常是机器中只有一个leader，其他的都是follow;也可以通过命令zkCli.sh回车输入ls/查看。2格式化ZooKeeper集群目的是在ZooKeeper集群上建立HA的相应节点。在master机器上执行命令./bin/hdfszkfc-formatZK，它会根据$HADOOP_HOME/etc/hadoop/core-site.xml文件ha.zookeeper.quorum的值来进行初始化。3启动journalnode进程在master节点上执行，hadoop-daemons.shstartjournalnode或者在每台机器上执行4格式化namenode

51、在master上执行命令hadoopnamenode-format或./bin/hdfsnamenode-format5启动namenode在master上执行命令hadoop-daemon.shstartnamenode在master上多出进程NameNode;复制(scp-r)你masterl文件夹/data_sdb/hadoop/hdfs/namenode上的元数据目录至Imaster2文件夹/data_sdb/hadoop/hdfs/namenode;在master2机器上执行命令hadoopnamenode-bootstrapStandby或hdfsnamenode-bootstra

52、pStandb在master2上启动namenode,hadoop-daemon.shstartnamenode6启动所有datanode在master上执行命令hadoop-daemons.shstartdatanode7在RM1启动YARN在master上执行命令start-yarn.sh8.在RM2单独启动YARN虽然上一步启动了YARN，旦是在master2上是没有相应的ResourceManager进程，故需要在master2主机上单独启动：yarn-daemon.shstartresourcemanager9启动ZKFC在master和master2上分别启动zkfc,或在mast

53、er上启动hadoop-daemon.shstartzkfc或hadoop-daemons.shstartzkfc10开启历史日志服务在master上启动：mr-jobhistory-daemon.shstarthistoryserver11启动主HMaster在masterl上启动：start-hbase.sh12启动备份HMaster在master2上启动：hbase-daemon.shstartmaster4.0非首次启动集群顺序步骤操作主机命令开启的相应进程1启动ZooKeeper集群slavel、slave2、slave3、slave4、slave5zkServer.shstartQ

54、uorumPeerMain2启动JournalNode集群slave1、slave2、slave3、slave4、slave5hadoop-daemons.shstartjournalnodeJournalNode3启动刚格式化的NameNodemaster1hadoopdaemon.shstartnamenodeNameNode4同步NameNodel元数据到NameNode2上master2hdfsnamenodebootstrapStandby5启动NameNode2master2hadoopdaemon.shstartnamenodeNameNode6启动集群中所有的DataNodem

55、asterlslavel、slave2、slave3、slave4、slave5(二者选一即可，下同)hadoop-daemons.shstartdatanodehadoop-daemon.shstartdatanodeDataNode7在RM1启动YARNmasterlstartyarn.shResourceManager(masterl)NodeManager(slave节点)8在RM2单独启动YARNmaster2yarn-daemon.shstartresourcemanagerResourceManager(master2)9启动ZKFCmasterl与master2hadoop-d

56、aemon.shstartzkfcDFSZKFailoverController10开启历史日志服务masterlmrjobhistory-daemon.shstarthistoryserverJobHistoryServer11启动主HMaster和HRegionServerMasterlstart-hbase.shHMaster(masterl上)HRegionServer(slave节点上)12启动备份HMastermaster2hbase-daemon.shstartmasterHMaster(master2上)注：与“首次启动格式化集群”不同的是没有格式化ZooKeeper集群和格式

57、化集群的NameNode这两个步骤！4.1集群关闭顺序步骤操作主机命令关闭的相应进程l关闭备份HMastermaster2hbase-daemon.shstopmaste:HMaster2关闭主HMaster和HRegionServermasterlstop-hbase.shHMaster(masterl上)HRegionServer(slave节点上)3关闭历史日志服务masterlmr-jobhistory-daemon.shstophistoryserverJobHistoryServer4关闭ZKFCmasterl与master2hadoop-daemon.shstopzkfcDFSZ

58、KFailoverController5在RM2单独关闭YARNmaster2yarn-daemon.shstopresourcemanagerResourceManager6在RMl关闭YARNmasterlstop-yarn.shResourceManager(master5)NodeManager(slave节点)7关闭集群中所有的DataNodemasterlslavel、slave2、slave3、slave4、slave5(二者选一即可，下同)hadoop-daemons.shstopdatanodehadoop-daemon.shstopdatanodeDataNode8关闭NameNode2master2hadoop-daemon.shstopnamenodeNameNode9关闭剩下的NameNodemasterlhado