实验四 全分布模式下的Hadoop集群部署

全分布模式下的Hadoop集群部署实验四全分布模式下的Hadoop集群部署一、实验目的（一）熟悉Linux基本命令。（二）掌握如何设置静态IP地址，掌握如何修改主机名和添加域名映射。（三）掌握如何配置Java环境变量，掌握Java基本命令。（四）了解为何需要配置SSH免密码登录，掌握如何配置SSH免密码登录。（五）熟练掌握在Linux环境下如何部署伪分布模式Hadoop集群和全分布模式Hadoop集群。二、实验内容（一）准备工作（二）安装和配置CentOS（三）安装和配置Java环境（四）启动和配置SSH免密码登录（五）安装和配置Hadoop（六）关闭防火墙（七）格式化文件系统（八）启动Hadoop守护进程并验证集群部署是否成功（九）撰写实验报告三、实验环境PC，VMWare，CentOS7安装包，OracleJDK8安装包，Hadoop2.8.1安装包。四、实验原理（一）Linux基本命令Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议，它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux操作系统诞生于1991年10月5日。Linux存在着许多不同的版本，但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。严格来讲，Linux这个词本身只表示Linux内核，但实际上人们已经习惯用Linux来形容整个基于Linux内核且使用GNU工程各种工具和数据库的操作系统。本部分将介绍实验中涉及到的Linux操作系统命令。（1）查看当前目录pwd命令用于显示当前目录：[root@localhost~]#pwd/root（2）目录切换cd命令用来切换目录：[root@localhost~]#cd/usr/local[root@localhostlocal]#pwd/usr/local（3）文件罗列ls命令用于查看文件与目录：[root@localhostlocal]#ls（4）文件或目录拷贝cp命令用于拷贝文件，若拷贝的对象为目录，则需要使用-r参数：[root@localhostlocal]#cp-rhadoop-2.8.1/root/hadoop（5）文件或目录移动或重命名mv命令用于移动文件，在实际使用中，也常用于重命名文件或目录：[root@localhost~]#mvhadoophadoop2#当前位于/root，不是/usr/local（6）文件或目录删除rm命令用于删除文件，若删除的对象为目录，则需要使用-r参数：[root@localhost~]#rm-rfhadoop2#当前位于/root，不是/usr/local（7）进程查看jps命令用于查看系统的所有进程：[root@localhost~]#jps#查看当前进程（8）文件压缩与解压tar命令用于文件压缩与解压，参数中的c表示压缩，x表示解压缩：[root@localhost~]#tar-zxvf/home/xlh/Downloads/hadoop-2.8.1.tar.gz（9）查看文件内容cat命令用于查看文件内容：[root@localhost~]#cat/usr/local/hadoop-2.8.1/etc/hadoop/core-site.xml（10）查看服务器IP配置ipaddr命令用于查看服务器IP配置：[root@localhost~]#ipaddr1:lo:<LOOPBACK,UP,LOWER_UP>mtu65536qdiscnoqueuestateUNKNOWNqlen1link/loopback00:00:00:00:00:00brd00:00:00:00:00:00inet/8scopehostlovalid_lftforeverpreferred_lftforeverinet6::1/128scopehostvalid_lftforeverpreferred_lftforever2:ens33:<BROADCAST,MULTICAST,UP,LOWER_UP>mtu1500qdiscpfifo_faststateUPqlen1000link/ether00:0c:29:b8:e8:48brdff:ff:ff:ff:ff:ffinet31/24brd55scopeglobalens33valid_lftforeverpreferred_lftforeverinet6fe80::6232:735:2815:bfdf/64scopelinkvalid_lftforeverpreferred_lftforever3:virbr0:<NO-CARRIER,BROADCAST,MULTICAST,UP>mtu1500qdiscnoqueuestateDOWNqlen1000link/ether52:54:00:82:29:91brdff:ff:ff:ff:ff:ffinet/24brd55scopeglobalvirbr0valid_lftforeverpreferred_lftforever4:virbr0-nic:<BROADCAST,MULTICAST>mtu1500qdiscpfifo_fastmastervirbr0stateDOWNqlen1000link/ether52:54:00:82:29:91brdff:ff:ff:ff:ff:ff[root@localhost~]#（二）vim编辑器vim是一个类似于vi的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性，vim是vi的加强版，比vi更容易使用，vi的命令几乎全部都可以在vim上使用。vim是实验中用到最多的文件编辑命令，命令行输入“vim文件名”后，默认进入“命令模式”，不可编辑文档，需键盘点击“i”键，方可编辑文档，编辑结束后，需按“ESC”键，先退回命令模式，再按“:”进入末行模式，接着嵌入“wq”方可保存退出。（三）Java基本命令在安装Java环境后，可以使用Java命令来编译、运行或者打包Java程序。（1）查看Java版本[root@localhost~]#java-versionjavaversion"1.8.0_144"Java(TM)SERuntimeEnvironment(build1.8.0_144-b01)JavaHotSpot(TM)64-BitServerVM(build25.144-b01,mixedmode)（2）编译Java程序[root@localhost~]#javacHelloworld.java（3）运行Java程序[root@localhost~]#javaHelloworldHelloWorld!（4）打包Java程序[root@localhost~]#jar-cvfHelloworld.jarHelloworld.classaddedmanifestadding:Helloworld.class(in=426)(out=289)(deflated32%)由于打包时并没有指定manifest文件，因此该jar包无法直接运行：[root@localhost~]#java-jarHelloworld.jarnomainmanifestattribute,inHelloworld.jar（5）打包携带manifest文件的Java程序manifest文件用于描述整个Java项目，最常用的功能是指定项目的入口类：[root@localhost~]#catmanifest.mfMain-Class:Helloworld打包时，加入-m参数，并指定manifest文件名：[root@localhost~]#jar-cvfmHelloworld.jarmanifest.mfHelloworld.classaddedmanifestadding:Helloworld.class(in=426)(out=289)(deflated32%)之后，即可使用java命令直接运行该jar包：[root@localhost~]#java-jarHelloworld.jarHelloWorld!（四）SSH免密认证Hadoop的基础是分布式文件系统HDFS，HDFS集群有两类节点以管理者-工作者的模式运行，即一个namenode（管理者）和多个datanode（工作者）。在Hadoop启动以后，namenode通过SSH来启动和停止各个节点上的各种守护进程，为了方便起见，需要在这些节点之间执行指令时采用无需输入密码的认证方式，因此，需要将SSH配置成使用无需输入密码的密钥文件认证方式。但是，此项非必须步骤。（五）初步认识Hadoop1.Hadoop电梯演讲Hadoop是一个提供分布式存储和计算的软件框架，它具有无共享、高可用、弹性可扩展的特点，非常适合处理海量数据。2.Hadoop生态系统Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足：针对Hadoop1.0单NameNode制约HDFS的扩展性问题，提出HDFSFederation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展，同时彻底解决了NameNode单点故障问题；针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制分开，分别由ResourceManager（负责所有应用程序的资源分配）和ApplicationMaster（负责管理一个应用程序）实现，即引入了资源管理框架YARN。同时YARN作为Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，不仅限于MapReduce一种框架，也可以为其他框架使用，如Tez、Spark、Storm等。Hadoop1.0和2.0的对比图如图1-1所示。图1-1Hadoop1.0VSHadoop2.0如无例外，本指导书自此开始所说的Hadoop是2.0。一般来说，狭义的Hadoop仅代表了HDFS、YARN、MapReduce模块。但是开源世界的创造力是无穷的，围绕Hadoop有越来越多的软件出现，构成了一个生机勃勃的Hadoop生态系统。在特定场景下，Hadoop有时也指代Hadoop生态系统。Hadoop2.0生态系统如图1-2所示。图1-2Hadoop2.0生态系统HDFS：HadoopDistributedFileSystem，Hadoop分布式文件系统，是Hadoop的基石。HDFS是一个具有高容错性的文件系统，适合部署在廉价的机器上，HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。YARN：YetAnotherResourceNegotiator，另一种资源协调器，是统一资源管理和调度平台，它解决了Hadoop1.0资源利用率低和不能兼容异构的计算框架等多种问题，它提供了资源隔离方案和双调度器的实现。MapReduce：是一种编程模型，利用函数式编程的思想，将对数据处理的过程分为Map和Reduce两个阶段。3.Hadoop体系架构Hadoop主要两部分构成：分布式文件系统HDFS和统一资源管理和调度平台YARN。Hadoop集群采用主从架构（master/slave）。其中，HDFS、YARN、Hadoop总体体系架构分别如图1-3、1-4、1-5所示。图1-3HDFS架构图1-4YARN架构图1-5Hadoop集群4.Hadoop部署模式Hadoop部署模式有3种：本地模式、伪分布模式、全分布模式。本地模式和伪分布模式均用于开发与调试，真实Hadoop集群的运行采用的是全分布模式，全分布模式才是Hadoop数据分析的常态模式。5.Hadoop主要配置文件Hadoop配置文件很多，配置文件位于$HADOOP_HOME/etc/hadoop，关键的几个配置文件如表1-1所示。

表1-1Hadoop主要配置文件文件名称格式描述hadoop-env.shbash脚本记录Hadoop要用的环境变量yarn-env.shbash脚本记录YARN要用的环境变量mapred-env.shbash脚本记录MapReduce要用的环境变量core-site.xmlHadoop配置XMLHadoopcore的配置项，包括HDFS和MapReduce常用的I/O设置等hdfs-site.xmlHadoop配置XMLHDFS守护进程的配置项，包括NameNode、SecondaryNameNode、DataNode等yarn-site.xmlHadoop配置XMLYARN守护进程的配置项，包括ResourceManager、NodeManager等mapred-site.xmlHadoop配置XMLMapReduce计算框架的配置项slaves纯文本运行DataNode和NodeManager的从节点机器列表（每行1个）五、实验步骤（一）准备工作1.Hadoop集群部署模式的选择本实验采用全分布模式部署Hadoop集群。需要说明的是，全分布模式部署中需要使用的机器并非一定是物理实体机器，也可以使用虚拟机器，由于硬件资源的限制，本实验将把全分布模式Hadoop集群部署在多台虚拟机器上，另外，要求每台虚拟机器最低1GB内存，20GB硬盘。2.Hadoop集群部署规划全分布模式部署Hadoop集群时，最低需要两台机器，一个主节点一个从节点，本实验的Hadoop集群欲使用3台安装有Linux操作系统的虚拟机器，机器名分别为master、slave1、slave2，其中master作为主节点，slave1和slave2作为从节点。具体部署规划如表1-2所示。表1-2Hadoop集群部署规划表机器名IP地址HDFS进程YARN进程master（主节点）31NameNodeResourceManagerslave1（从节点）32DataNodeNodeManagerslave2（从节点）33DataNodeNodeManager3.工具软件的选择虚拟机软件采用VMWare12；Linux操作系统采用免费的CentOS7，下载地址为；Java采用免费的OracleJDK8，下载地址为/technetwork/java/javase/downloads/index.html；开源的Hadoop采用Hadoop2.8.1，下载地址为/releases.html。（二）安装和配置CentOS1.在虚拟机上安装CentOS安装3台虚拟机器，并且要求最低1GB内存，20GB硬盘。2.配置静态IP地址为了让主节点和从节点之间的通信可控，各个节点需要配置静态IP，方法是修改相应的配置文件，对于CentOS7而言，对应的配置文件为/etc/sysconfig/network-scripts/ifcfg-ens33，各机器可能不尽相同，自行查看本人的机器。（1）查看主节点网卡配置文件名，具体过程如图1-6所示。图1-6查看主节点网卡配置文件名（2）修改主节点网卡配置文件/etc/sysconfig/network-scripts/ifcfg-ens33，修改后的具体内容如图1-7所示。图1-7主节点网卡配置文件ifcfg-ens33修改后内容同理，按以上步骤再为2个从节点设置静态IP地址。3.修改机器名在主节点上修改配置文件/etc/sysconfig/network，可永久性修改Linux主机名，配置文件的具体内容如图1-8所示。图1-8主节点配置文件network修改后内容2个从节点也做同此修改，“HOSTNAME”依次设置为slave1、slave2，重启后生效。4.添加域名映射在主节点上使用命令“vim/etc/hosts”编辑配置文件hosts，来协助用户便捷地访问各个节点，而无需记住能够被机器直接读取的IP地址串，配置文件的具体内容如图1-9所示。图1-9主节点域名映射配置文件hosts修改后内容2个从节点必须和主节点的hosts文件内容需要一致，我们可以分别修改2个从节点的hosts文件，也可以使用scp命令同步虚拟机的配置。至此，已完成了3台虚拟机的静态IP地址的配置、机器名的修改、域名映射的添加，可用ping命令来检测各节点间是否通讯正常，过程如图1-10所示。图1-10ping命令检测各节点间是否互通结果（三）安装和配置Java环境本部分在主节点master上进行，另外2个从节点的Java环境配置过程与主节点相同，不再赘述。1.卸载OpenJDK通过命令“java-version”查看是否已安装jdk，如图1-11所示，由于CentOS自带的有Java，是OpenJDK，而我们需要Oracle公司的JDK，所以我们将OpenJDK卸载。图1-11java–version执行结果使用rpm命令查询jdk软件，如图1-12所示。图1-12rpm命令查询jdk结果分别使用命令“yum-yremovejava-1.8.0*”和“yum-yremovejava-1.7.0*”卸载openjdk1.8和openjdk1.7，分别如图1-13、1-14所示。图1-13使用yum命令卸载openjdk1.8图1-14使用yum命令卸载openjdk1.72.查看系统信息可以使用命令“getconfLONG_BIT”来查询Linux操作系统是32还是64位；也可以使用命令“file/bin/ls”来显示Linux版本号，使用命令“file/bin/ls”的结果如图1-15所示。图1-15使用“file/bin/ls”命令查看系统位数3.下载OracleJDK8OracleJDK8的下载地址为：/technetwork/java/javase/downloads/index.html。4.安装Java使用yum命令进行安装，如图1-16所示。图1-16使用yum命令安装OracleJDK85.配置Java环境我们通过修改/etc/profile文件完成环境变量JAVA_HOME、PATH和CLASSPATH的设置，添加如下内容，如图1-17所示。图1-17配置Java环境变量使用命令“source”重新加载配置文件，使之立即生效，如图1-18所示。图1-18使用“source”命令重新加载配置文件（四）启动和配置SSH免密码登录1.安装SSH使用命令“rpm-qa|grepssh”查询SSH是否已经安装，如图1-19所示。图1-19使用rpm命令查询SSH是否安装可以看出，SSH软件包已安装好，若没有安装好，用yum安装。yum–yinstallopensshyum–yinstallopenssh-serveryum–yinstallopenssh-clients2.修改sshd配置文件使用命令“vim/etc/ssh/sshd_config”修改sshd配置文件，需要修改的内容如图1-20所示。图1-20sshd配置文件修改后内容使用systemctl命令重启sshd服务，如图1-21所示。图1-21使用systemctl命令重启sshd服务3.生成公钥和私钥。切换到普通用户xlh下，使用命令“cd~”切换回到用户xlh的家目录下，然后利用ssh-keygen在家目录中生成公钥和私钥如图1-22所示。图1-22使用ssh-keygen命令生成公钥和私钥其中，id_rsa是私钥，id_rsa.pub是公钥，这个公钥将会拷贝至其他hadoop节点。把公钥id_rsa.pub的内容，追加到authorized_keys授权密钥中，如图1-23所示。图1-23公钥id_rsa.pub内容追加到authorized_keys授权密钥4.共享公钥经过共享公钥后，就不再需要输入密码。因为只有1主2从节点，所以直接复制公钥比较方便，将master的公钥直接复制给slave1和slave2就可以解决连接从节点时需要密码的问题，过程如图1-24、1-25所示。图1-24master公钥复制给slave1图1-25master公钥复制给slave25.验证安装及配置经过以上步骤，在进行ssh登录时，可能仍然需要输入密码，这是因为文件夹.ssh的访问权限设置不正确，利用chmod命令修改包含密钥文件和文件夹的相应权限，如图1-26所示。图1-26使用chmod命令修改密钥文件和文件夹权限此时，直接在主节点上ssh从节点，可以免密码登录了，如图1-27所示。图1-27主节点SSH免密登录从节点测试结果到此，可以从master主节点免密码登录2台从节点了，对Hadoop程序已经足够，但是想达到所有节点之间都能免密码登录的话，还需要在slave1、slave2上各执行3次，也就是说两两共享密钥，这样累计共执行9次。（五）安装和配置Hadoop1.下载HadoopHadoop的下载地址为/releases.html。2.安装Hadoop首先，将hadoop-2.8.1.tar.gz解压到目录/usr/local下，在3台虚拟机上依次输入以下命令：surootcd/usr/localtar-zxvf/home/xlh/Downloads/hadoop-2.8.1.tar.gz然后，分别在1主2从节点下将Hadoop安装目录的权限赋给xlh账户，master节点下的命令如图1-28所示，其余2从节点相同。图1-28Hadoop安装目录的属主赋给xlh账户3.配置Hadoop（1）编辑/etc/profile.d文件夹中的hadoop.sh，添加如图1-29的内容。图1-29配置文件hadoop.sh修改后内容（2）配置hadoop-env.shHadoop的配置文件位于/usr/local/hadoop-2.8.1/etc/hadoop，主要包括的配置文件如图1-30所示。图1-30Hadoop配置文件列表配置文件hadoop-env.sh主要配置Java的安装路径JAVA_HOME、hadoop日志存储路径HADOOP_LOG_DIR及添加SSH的配置选项HADOOP_SSH_OPTS。打开hadoop-env.sh文件，修改hadoop-env.sh内容如图1-31所示。图1-31配置文件hadoop-env.sh修改后内容（3）配置yarn-env.shYARN是Hadoop的资源管理器，在这个环境变量配置文件中，主要完成两个配置，一个是指明java的安装路径JAVA_HOME，二是指明YARN的日志存放路径YARN_LOG_DIR。修改yarn-env.sh内容如图1-32所示。图1-32配置文件yarn-env.sh修改后内容（4）配置mapred-env.sh在这个mapred-env.sh配置文件中，主要添加了MapReduce的日志存储路径HADOOP_MAPRED_LOG_DIR和java的安装路径JAVA_HOME，之所以再次设置JAVA_HOME，同样为了保证，所有进程使用的是同一个版本的JDK。修改mapred-env.sh内容如图1-33所示。图1-33配置文件mapred-env.sh修改后内容（5）配置core-site.xmlcore-site.xml是Hadoopcore的配置文件，如HDFS和MapReduce常用的I/O设置等，其中包括很多配置项，但实际上，大多数配置项都有默认项，也就是说，很多配置项即使不配置，也无关紧要，只是在特定场合下，有些默认值无法工作，这时候再找出来配置特定值，下面我们仅仅选两个参数项来说明。<configuration><property><name>fs.defaultFS</name><value>hdfs://master</value></property><property><name>io.file.buffer.size</name><value>131072</value></property></configuration>第1个配置项是设置Hadoop文件系统HDFS的文件URI，第2个配置项是设置IO文件的缓冲区大小为128KB。（6）配置hdfs-site.xml在这个配置文件中，我们主要配置有个HDFS的几个分项数据，如字空间元数据、数据块、辅助节点的检查点的存放路径，不修改的采用默认值即可。<configuration><property><name>.dir</name><value>/hadoop/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/hadoop/hdfs/data</value></property><property><name>node.checkpoint.dir</name><value>/hadoop/hdfs/namesecondary</value></property></configuration>需要注意的是，这3个属性值需要用户自己在根目录创建一个文件夹/hadoop，并将其所有者改为xlh或者授权xlh用户写权限，其内的子文件夹如/hdfs/name、/hdfs/data、/hdfs/namesecondary不需要创建，可由Hadoop系统自动创建。（7）配置yarn-site.xmlyarn-site.xml是有关资源管理器的YARN配置信息，代码如下。<configuration><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.local-dirs</name><value>/hadoop/nm-local-dir</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>需要注意的是，第2个属性值需要用户在根目录下创建一个文件夹/hadoop，若在前面配置hdfs-site.xml时已经创建，则无须重复创建，用以指明YARN的节点管理器的本地目录。（8）配置mapred-site.xmlmapred-site.xml是有关MapReduce计算框架的配置信息，如果这个文件不存在，则用vim直接创建并编辑相应的配置信息，代码如下。<configuration><property><name></name><value>yarn</value></property></configuration>（9）配置slaves配置文件中还有一个有关从节点主机名的配置文件slaves，该文件与诸如mapred-site.xml等配置文件，同处于同一个文件夹$HADOOP_HOME/hadoop2.8.1/etc/hadoop之下，在这个文件中，添加所有的slave节点主机名，每一个主机名占一行，如图1-34所示。图1-34配置文件slaves修改后内容需要注意的是，在slaves文件里，有一个默认值localhost，一定要删除，若不删除，虽然后面添加了所有的slave节点主机名，Hadoop还是无法逃脱一个“伪分布”的命运。4.同步配置文件以上配置文件要求每个节点都“机手一份”，快捷的方法是在主节点master配置好，然后利用scp命令将配置好的文件同步到从节点slave1、slave2上。首先hadoop.sh同步到其他2台从节点上去，命令如下，效果如图1-35所示。scp/etc/profile.d/hadoop.shroot@slave1:/etc/profile.d/scp/etc/profile.d/hadoop.shroot@slave2:/etc/profile.d/图1-35同步配置文件hadoop.sh到从节点然后/usr/local/hadoop-2.8.1/etc/hadoop下的配置文件同步到其他2台从节点上去，命令如下，效果如图1-36、1-37所示。scp-r/usr/local/hadoop-2.8.1/etc/hadoop/*xlh@slave1:/usr/local/hadoo-2.8.1/etc/hadoop/scp-r/usr/local/hadoop-2.8.1/etc/hadoop/*xlh@slave2:/usr/local/hadoo-2.8.1/etc/hadoop/图1-36同步Hadoop所有配置文件到从节点slave1图1-37同步Hadoop所有配置文件到从节点slave25.创建所需目录请注意，以下创建文件的步骤需要在所有的机器上执行。在前面的配置文件里，HDFS的日志被设置存放于/var/log路径下，对于普通用户xlh而言，是没有“写”权限的，所以我们需要首先切换到root用户，在文件夹/var/log下创建子文件夹hadoop，然后再将这个文件夹的宿主归属于用户xlh，如图1-38所示。图1-38创建目录/var/log/hadoop并设置属主如前所述，在配置hdfs-site.xml和yarn-site.xml文件时，我们还需要在根目录下创建一个文件夹hadoop，并修改文件夹的所有者归属于用户xlh，如图1-39所示。图1-39创建目录/hadoop并设置属主（六）关闭防火墙为了避免不必要的麻烦，我们建议关闭防火墙，若防火墙没有关闭，可能会导致Hadoop虽然可以启动，但是数据节点DataNode无法连接名称节点NameNode。在CentOS7下关闭防火墙的命令如图1-40所示。图1-40CentOS7下关闭防火墙重复以上步骤，关闭另外两台虚拟机器slave1、slave2的防火墙。（七）格式化文件系统只需要在主节点master上执行HDFS格式化命令，运行命令“hdfsnamenode-format”，过程如图1-41所示。图1-41HDFS格式化（八）启动Hadoop守护进程并验证集群部署是否成功启动Hadoop守护进程，只需要在主节点master上依次执行以下3条命令即可。start-dfs.shstart-yarn.shmr-jobhistory-daemon.shstarthistoryserver若Hadoop集群部署成功，首先，执行命令start-dfs.sh后，通过命令jps可以查看到守护进程NameNode和Secondar