2021年大数据技术-大数据平台部署文档

大数据平台部署手册编写:日期:检査:日期:审核:日期:批准:日期:文档变更记录序号变更(+/-)说明作者版本号日期批准12TOC\o"1-5"\h\z.引言 3编写目的和范围 3术饴表 3参考资料 3使用的文字处理和绘图工具 3\o"CurrentDocument".平台通用说明 4\o"CurrentDocument"平台所用系统说明 4\o"CurrentDocument"平台所使用的用户说明 4\o"CurrentDocument"平台所使用的安装目录说明 4\o"CurrentDocument"平台组件部署说明 4\o"CurrentDocument"拷贝安装包到指定目录 4\o"CurrentDocument".Hadoop部署 4Linux环境配置 5修改主机名 5\o"CurrentDocument"关闭防火墙 10\o"CurrentDocument"关闭selinux 12\o"CurrentDocument"配置ntp时间同步 13\o"CurrentDocument"配置网络环境 19酉己置hosts歹!）表 20\o"CurrentDocument"安装JDK 21\o"CurrentDocument"免秘钥登陆配置 23Zookeeper安装部署 28\o"CurrentDocument"解压安装包 28\o"CurrentDocument"配置环境变量 29\o"CurrentDocument"修改配置文件 29部署到其他机器上: 32\o"CurrentDocument"启动、停止服务和查看服务的状态 33\o"CurrentDocument"验证 33Hadoop女装部署 34\o"CurrentDocument"解压安装包 34\o"CurrentDocument"配置环境变量 34\o"CurrentDocument"修改配置文件 35部署集群 43\o"CurrentDocument"启动及验证 44.引言编写目的和范围说明写这份详细设计说明书的目的。本详细设计说明书编写的目的是说明程序模块的设计考虑,包括程序描述、输入/输出、算法和流程逻辑等,为软件编程和系统维护提供基础。本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目评审人员。术语表定义系统或产品中涉及的重要术语,为读者在阅读文档时提供必要的参考信息。序号术语或缩略语说明性定义1PMProjectManagerJ项目经理2参考资料列出有关资料的名称、作者、文件编号或版本等。参考资料包括:a.需求说明书、架构设计说明书等;b.本项目的其他已发表的文件;c,引用文件、资料、软件开发标准等。资料名称作者文件编号、版本资料存放地点使用的文字处理和绘图工具文字处理软件:[编写设计文档使用的文字处理软件,如RedOffice]绘图工具:[使用的UML工具,如Rose、Jude、Visio].平台通用说明平台所用系统说明所用系统都以CenlOs-6为例平台所使用的用户说明该大数据平台的所有的安装部署以root用户为例。平台所使用的安装目录说明将以下所有安装的软件统一安装到指定目录,创建指定目录如下所示:mkdir/opt/software注:所有该平台所有安装的安装的软件都安装在/〇pt/soflware平台组件部署说明平台组件的部署分布如下图所示:主机名安装组件Gn-MOIJdk、Hadoop（免秘钥ssh>ntp时间同步）、Flume、 >ElasticSearch>Redis（主节点）、MySQL（主节点）Gn-M01Jdk、Hadoop（免秘钥ssh、ntp时间同步）、Flume、 、ElasticSearchRedis（从节点）、MySQL（从节点）Gn-S01Jdk、Hadoop（免秘钥ssh>ntp时间同步）、Flume> ヽElasticSearch注：每ー种组件以不同颜色进行标示拷贝安装包到指定目录将平台所需的所有软件都拷贝到指定目衆/。pt/software,以便于下面各组件的安装。.Hadoop部署注：Hadoop安装的操作都在root用户下操作Linux环境配置修改主机名Gn-M01节点使用vi编辑主机名:vi/etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME这一属性,这个属性若为你想要配置的主机名,这不不需要配置;否则,修改为Gn-MOl（或者你想要配置的属性）：修改后保存退出（:wq）修改后生效命令,如下所示:hostnameGn-MOl（或者你所配置的主机名）检测主机名是否修改成功,在操作之前需关闭当前终端,重新打开另ー个终端:hostname执行完hostname命令后，出现下图所示，说明修改成功:

Gn-M02节点使用vi编辑主机名:vi/etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME这一属性,这个属性若为你想要配置的主机名,这不不需要配置;否则，修改为Gn-M02（或者你想要配置的属性）：

修改后保存退出（:wq）修改后生效命令,如下所示:hostnameGn-M02（或者你所配置的主机名）检测主机名是否修改成功,在操作之前需关闭当前终端,重新打开另ー个终端:hostname执行完hostname命令后,出现下图所示,说明修改成功:

Gn-S01节点使用vi编辑主机名:vi/etc/sysconfig/network配置信息如下所示,主要修改配置文件中第二行的HOSTNAME这一属性,这个属性若为你想要配置的主机名,这不不需要配置;否则，修改为Gn-M01（或者你想要配置的属性）：

修改后保存退出（:wq）修改后生效命令,如下所示:hostnameGn-S01（或者你所配置的主机名）检测主机名是否修改成功,在操作之前需关闭当前终端,重新打开另ー个终端:hostname执行完hostname命令后,出现下图所示,说明修改成功:

关闭防火墙注:Gn-M01,Gn-MO2、Gn-SOl三台服务器关闭防火墙这ー操作步骤一致我们以Gn-M01为例:(1)查看防火墙状态,命令如下:serviceiptablesstatus

这说明防火墙是开启状态。(2)关闭防火墙临时关闭防火墙,命令如ド所示:serviceiptablesstop设置开机后自动关闭防火墙,命令如下所示:chkconfig-listIgrepiptableschkconfigiptablesoff

I[root0Gn-MOl[root0Gn-MOl#chkconfigーー!istIgrepiptablesiptables1f *.Q/w'・八・O:offl:off，*—X—ヽ・2J 12:on3:on4:on5:on6:off|[root&Gn—MQ1[root0Gn-MOl[root0Gn-MOl-jfcnjccoHLig uxirtchkconfigーー!istIgrepiptablesiptablesO:offl:off■12:off3:off4:off57off6:off|[root0Gn-MOl-]♦1 出现上图效果,说明服务器开机后自动关闭防火墙。注:Gn-M02、Gn-S01上操作和Gn-MOl一致,按照上面步骤进行操作即可。关闭selinux注:Gn-M01,Gn-M02,Gn-SOl三台服务器关闭selinux这ー操作步骤一致我们以Gn-M02为例(1)查看selinux状态，命令如下:sestatusenabled-]/selinuxenforcingenforcing24targetedenabled-]/selinuxenforcingenforcing24targetedSELinuxfsmount:Currentmode:Modefromconfigfile:Policyversion:Policyfromconfigfile:[root0Gn-MOl~]i|说明selinux状态为enabled,处于开启状态。⑵修改selinux配置文件用vi编辑器selinux配置文件,命令如下:vi/etc/selinux/config将selinux状态修改为disabled»具体修改如下图所示;（3）selinux修改后生效检测selinux是否关闭成功,需要先重启服务器,然后执行以下命令查看selinux命令:sestatusLastlogin:SunJul1922:48:182015from[root0Gn-MOl-]♦[root8Gn-M01〜]*[root8Gn-M01〜J#sestatusSELinuxstatus: disabledrfoot^Gif-Hor^rrl-出现上图所示的,说明selinux关闭成功。注:Gn-M02、Gn-S01的selinux的操作和Gn-M01的操作一致,执行以上操作即可。3.1.4配置ntp时间同步配置部署的思路:将集群中的其中一台服务作为ntp时间服务器（注:这台时间服务器可以和网络时间进行同步）,其他的机器作为从服务器（客户端）,让其他这些服务器去同步之前已经选好的nip时间服务器，这样就能是实现整个集群的时间一致。我们将Gn-M01作为ntp时间服务器,首先让Gn-M01这台服务器与网络时间进行同步，然后，再让Gn-M02、Gn-SOl同步Gn-M01的时间，这样就实现了三台服务器的时间一致。部署分布如下表所示:主机名角色Gn-M01时间服务（要与网络时间进行同步）Gn-M02要同步的服务器（客户端）Gn-S01要同步的服务器（客户端）注:时间同步时,从服务器（客户端）的ntp服务是停止的,因为从服务公用ー个ntp时间服务器说的更通俗就是Gn-M02、Gn-S01公用Gn-MOI的ntp时间服务器Gn-M01节点查看ntp服务器状态servicentpdstatus[root8Gn-M01-]♦servicentpdstatusntpdisstopped[root8Gn-M01~]t|说明服务是停止的。查看时间date[root0Gn-MOl#dateMonJul2001:03:47PDT2015[rooteGn-MOl**]«|Windows下的实际时间:16:04星期ー।

2015/7/20|所以两个图的时间对比后，说明时间和网络时间不一致。ntp时间服务与网络时间同步命令如下所示：ntpdate/r/[rootgCn-MOl*]#[root0Gn-MOl-]#ntpdate/r/20Jul01:08:26Xaprianp[ク£ック]]adju9atitinpserver2offset0.145726sec[root6Gn-M01_dateMonJul20j16:15:1?"CST2015[rooteGn-MOl-|windows下实际时间:16:15星明一中2015/7/20.(4)酉己置ntpserver用vi编辑器编辑ntp服务器配置文件,命令如下:vi/etc/ntp.conf修改mp服务的配置文件:将restrictdefaultkodnomodifynotrapnopeernoquery改成:restrictdefaultnomodify同时添加两行:serverprefer#localclockfudgestratum1将server0.centos,iburstserver1.centos,iburstserver2.centos,iburstserver3.centos,iburst注释掉。

(5)启动nip服务cd/etc/init.d/启动ntp服务:servicentpdstart将时间服务器开机启动:chkconfigntpdon如有错误信息可查看错误日志:tail/var/log/messageI丄57しC?DI】ーCU丄j>[root0Gn-MOl~]t|3ervioe-ntpdstart|Startingntpd: [OK][root0Gn-MOl-]♦servicentpdstatusntpd(pid2971)isrunninq.・,I[rcx)t8Gn-M01-]#|tail_-r_7vaf/rog7niessages 1Jul2001:35:08 on2loTOP123Jul2001:35:08Gn-MOlntpd[2971]:Listennormallyon3ethO48UDP12；JJul2001:35:08Gn-MOlntpd[2971]:Listennormallyon4lo::1TOP123Jul2001:35:08Gn-MOlntpd[2971]:Listennormallyon5ethOfe80::20c:29ff:fea9:c25eIJDP123Jul2001:35:08Gn-MOlntpd[2971]:peersrefreshedJul2001:35:08Gn-MOlntpd[2971]:Listeningonroutingsocketonfd#22forinterfaceupdatesJul2001:35:08Gn-MOlntpd[2971]:c01606restartJul2001:35:08Gn-MOlntpd[2971]:c01202freq_setkernel0.000PPMJul2001:35:08Gn-MOlntpd[2971]:cOll01freq_not_setJul2001:35:09Gn-MOlntpd[2971]:c51404freq_mode出现上图说明配置正确,并启动成功。观察启动端口:netstat-tlunp|grepntp[root0Gn-MOlInetstat-tlunpIgrepntp1udp0048:123 :*2971/ntpdudp00:123 ：*2971/ntpdudp00:123 :*2971/ntpdudp00fe80::20c:29ff:fea9:c25e:123:::*2971/ntpc1udp00::1:123 :::*2971/ntpdudp00：：：123 ：：:*2971/ntpd1[root0Gn-MOl-]#|1（6） 同步上层时间服务由于把本机作为时间服务器则很快就可以同步时间服务器ntpstat[root0Gn-MOl-]#ntpstatsynchronisedtolocalnetatstratum2timecorrecttowithin11mspollingserverevery64s[root0Gn-MOl»]t|显示ntp服务器与上层服务器状态:ntpq-p

[rcx)t0Gn-MOl-]#ntpq-premoterefidsttwhenpollreachdelayoffsetjitterremote♦LOCAL(0) .LOCL.[root0Gn-MOl~]*♦LOCAL(0) .LOCL.[root0Gn-MOl~]*|(该配置完成后需要重启服务器生效)Gn-M02节点配置时间服务器客户端(1)查看ntp服务器状态servicentpdstatus[rcx)t0Gn-MO2♦servicentpdstatuskitpdissspped"[rcx>t6Gn^4O2|(2)同步Gn-MOl的ntp服务器手动同步:ntpdate48(Gn-MOl的IP地址)[root0Gn-MO2~]キntpdate4820Jul17:03:17ntpdate[2988]:steptimeserver48offset2.949908sec[root0Gn-MO2-]♦dateMonJul2017:03:23CST2015[root0Gn-MO2|自动同步:crontab-e添加以下内容,进行没五分同步一次时间*/5****/usr/sbin/ntpdate4イン，1Gn-M012Gn-M023Gn-S01*/5****/usr/sbin/ntpdate4§[root0Gn-MO2-]#crontab-1*/5****/usr/sbin/ntpdate48[root0Gn-MO2~]#|Gn-S01节点配置时间服务器客户端

注:Gn-S01的操作与Gn-M02的操作一致,详细配置参见Gn-M023.1.5配置网络环境配置网络的目的是要保证集群的间的网络能够互通注:Gn-M01,Gn-M02,Gn-SOl的操作一致以Gn-M01为例ifconfig[rcx)teGn-M01〜]#ifconfigethOLinkencap:EthernetHWaddr00:0C:29:A9:C2:5Einetaddr:48Beast:55Mask:inet6addr:fe80::20c:29ff:fea9:c25e/64Scope:LinkUPBROADCASTRUNNINGMULTICASTMTU:1500Metric:1RXpackets:15797errors:0dropped:0overruns:0frame:0TXpackets:6909errors:0dropped:0overruns:0carrier:0collisions:©txqueuelen:1000RXbytes:10421441(9.9MiB)TXbytes:441871(431.5KiB)lo Linkencap:LocalLoopbackinetaddr:Mask:inet6addr:::1/128Scope:HostUPLOOPBACKRUNNINGMTU:16436Metric:1RXpackets:19errors:0dropped:0overruns:0frame:0TXpackets:19errors:0dropped:0overruns:©carrier:©collisions:0txqueuelen:0RXbytes:2564(2.5KiB)TXbytes:2564(2.5KiB)[root8Gn-M0I〜]#|分别pingGn-M02,Gn-SOl的IP地址[root0Gn-MOl-]«ping49IIIPING49(1^.160.^19.149)56(84)bytesofdata.TOC\o"1-5"\h\z64bytes from 49: icn?しseq=l ttl=64 time=0.291 ms64bytes from 49: icnp_seq=2 ttl=64 time=0.508 ms64bytes from 49: ici5しseq=3 ttl=64 time=0.391 mspc 49pingstatistics 3packetstransmitted,3received,0%packetloss,time2385msrttmin/avg/max/mdev^^_0.291/0.396/0.508/0.091ms[root8Gn-M01-]#ping50PING50(1W.168.219.150)56(84)bytesofdata.64bytesfrom50:icmp_seq=lttl=64time=79.9ms64bytesfrom50:icmp_seq=2ttl=64time-0.648ms 50pingstatistics 2packetstransmitted,2received,0%packetloss,time1458msrttmin/avg/max/mdev=0.648/40.304/79.960/39.656ms[root0Gn-MOl|ping通即可。注:Gn-M02>Gn-S01的网络的配置和Gn-M01配置一致,详细配置重复以上操作即可配置hosts列表注:配置hosts列表来解析主机名,Gn-M01,Gn-M02、Gn-S01的操作一致以Gn-M01为例进行操作用vi编辑主机名列表，命令如下所示:vi/etc/hosts（建议填写所有的集群主机名映射）注:IP地址要和主机名对应,并且是IP地址在前,主机名在后验证是否配置成功:pingGn-M01pingGn-M02pingGn-S01

出现上图说明配置成功,通过IP地址解析了主机名。注:Gn-M02、Gn-SOI的主机名解析的配置和Gn-M01配置一致,详细配置事复以上操作即可安装JDK安装JDK的目的是用来为程序的运行提供java环境由于所有的软件包都安装在/〇pt/software进入安装目录:cd/opt/software[rcx)teGn-M01-]♦cd/opt/software/[root0Gn-MOlsoftware]fpwd/opt/software[root6Gn-M01software]♦Isapache-flume-1.5.2-bin.tar.gzhbase-1.0.0-bin.tar.gzzookeeper-3.4.6.tar.gzelasticsearch-1.4.4.tar.gz jdkl.フ•071.ziphadoop-2.6.0.tar.gz redis-3.0.2.tar.gz[root0Gn-MOlsoftware]<ロ软件版本version1.7.0_71downloadhttp:〃www.oracle,com/technetwork/java/javase/downloads/index,html备注Gn-M0kGn-M02、Gn-SOI都配置JDKJava解压JDK安装包unzipjdk1.7.0_7l.zip[root0Gn-MOIsoftware]tIsapache-flume-1.5.2-bin.tar.qzhbase-1,0.0-bin.tar.gzredis-3.0.2.tar.gzelasticsearch-l.4.4.tar.gz zookeeper-3.4.6.tar.gzhado(^)-2.6.0.tar.gz jdkl.7.071.zip[root0Gn-MOIsoftware]i|解压之后出现jdkl.7.0_71目录说明解压成功,然后进入jdkl.7.0_71目录:cdjdkl.7.0_71[root0Gn-MOlsoftware]#cdjdkl.7.0_71[root0Gn-MOljdkl.7.071]#pwdpopt/software/jdkl.7.0_71[root0Gn-MOljdkl.7.0_71]#配置环境变量用vi编辑/etc/profile,命令如下所示:vi/etc/profile配置环境变量内容如下:#setjavaenvironmentexportJAVAHOME=/opt/software/jdk1.7.071exportPATHペPATH:$JAVA_HOME/binforiin/etc/profile.d/*.sh;doif[-r;thenif[!«ソ--];then・・丄else.6">/dev/null>&fifidoneunsetiunset-fpathmungeexportJAVA_HOME=/opt/software/jdkl..0_71exportPATH——:二一;/bi息82,32 Bot修改之后保存退出（:wq）配置生效及验证配置完环境变量,使得环境变量生效的命令如下所示:source/etc/profile验证配置是否成功:javajavacjava-version[root@Gn-M01jdkl.7.0_71]♦java-versionjavaversionw1.7.0_71"IJava(TM)SERuntimeEnvironment(build1.7.0_71-bl4)JavaHotSpot(TM)64-BitServerVM(build24.71-b01rmixedmode)(root8Gn-M01jdkl.7.0_71]♦|出现上图所示说明JDK部署成功。注:Gn-M02、Gn-S01的JDK的配置和Gn-M01配置・致,详细配置重复以上操作即可3.1.8免秘钥登陆配置免秘钥登陆是通过sshd这个服务，通过命令ssh-keygen-trsa来生成服务器自己的公钥和私钥，实现免秘钥就是将一台机器（如:Gn-M01）的公钥复制到另一台机器（Gn-M02）的〜/.ssh目录下，就可以实现提供公钥的那台机器（Gn-M01）免秘钥登陆复制到的那台机器（Gn-M02）上。在hadoop的HA集群上（集群上机器的分布有2个管理节点和n个数据节点）要实现ー种免秘钥的方式就是2台管理节点要实现互相免秘钥登陆，同时管理节点要免秘钥登陆n个数据节点。Hadoop的HA（管理节点：Gn-M01>Gn-M02i数据节点：Gn-S01）注：ssh面秘钥登陆配置是要注意用户，在那个用户下安装hadoop,就在那个用户下配置，我们是在root用户下安装hadoop,那么，我们就以root用户为例：Gn-M01节点在终端上生成秘钥，命令如下（一路点击回车生成秘钥）ssh-keygen-trsa生成的秘钥在〜/.ssh目录下如下图所示:

[root0Gn-MOl-]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.Thekeyfingerprintis:ae:37:27:0a:64:d9:87:f3:af:32:a2:87:d6:8b:ld:ecroot0Gn-MOlThekey*srandomartimageis:+——[RSA2048] +++S+=o+oO++OO.+..•ooEoo«.=.[rooteGn-MOl-J#复制公钥文件,命令如下所示:cat-*/.ssh/id_rsa.pub»-*/.ssh/authorized_keys[root0Gn-MOl〜]*cat-/.33h/id_rsa.pub»-/.3sh/authorized_keys[root0Gn-MOl-]#[root0Gn-MOl-]♦[root0Gn-MOl-]tcd-/.ssh/[root0Gn-MOl.ssh]111total16-rw-r-r-1rootroot393Jul2020:26author!zed_keys-rw 1rootroot1671Jul2020:22id_rsa-rw-r-r--1rootroot393Jul2020:22idrsa.pub-rw-r--r--1rootroot1212Jul2020:02knownhosts[rooteGn-MOl.ssh]#|修改authorized_keys文件的权限,命令如下:chmod600-*/.ssh/authorized_keys[root0Gn-MOl[root0Gn-MOltotal16-rw 1-rw [root0Gn-MOl[root0Gn-MOltotal16-rw 1-rw 1-rw-r-r-1-rw-r——r——1[root0Gn-MOlrootroot393Jul2020:26author!zed_keysrootroot1671Jul2020:22idrsarootroot393Jul2020:22idrsa.pubrootroot1212Jul2020:02knownhosts.ssh]fI将authorized_keys文件复制在Gn-MOl上,命令如下所示:scp^/.ssh/authorized_keysroot@Gn-M02>/如果提示yes/no的时候,则输入yes密码:输入密码

[root0Gn-MOl-]♦scp-/.33h/authorized_keysroot0Gn-MO2:~/root@gn-mO2,5password:author!zed_keys[rooteGn-MOl*•]1|Gn-M02节点在终端上生成秘钥,命令如下（一路点击回车生成秘钥）ssh-keygen-trsa生成的秘钥在〜/.ssh目录下如下图所示:[root8Gn-M02-]fssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/idrsa.Yourpublickeyhasbeensavedin/root/.ssh/idrsa.pub.Thekeyfingerprintis:ld:e4:02:84:18:ca:e2:09:99:ll:89:0a:56:fa:7f:82rootgGn-M02TOC\o"1-5"\h\zThekey'srandomartimageis:+—[RSA2048] +l+oo+oo. |l«*o••o IIXo .〇 (oo. |IO. S. IYouhavenewmailin/var/spool/mail/root(rootgGn-M02〜]6|将〜/authorized_keys文件复制到〜/.ssh目录下,命令如下所示:mv〜/authorized_keys〜/.ssh/复制公钥文件,命令如下所示:[root8Gn-M02total12-rw 1-rw 1[root8Gn-M02total12-rw 1-rw 1-rw-r——r——1[root0Gn-MO2[root0Gn-MO2total12-rw 1-rw 1-rw-r-r-1[root@Gn-M02.ssh]f11rootroot 1393 jul 20 20:32 author!zed_keysrootroot 1675 Jul 21 09:08 id_rsarootroot 393 Jul 21 09:08 id_rsa.pub.ssh]t(catid_rsa.pub»author!zed_keysI.ssh]I11rootroot 1786 Jtil 21 09:09 authorized_keysrootroot 1675 Jul 21 09:08 id_rsarootroot 393 Jul 21 09:08 id_rsa.pub.ssh]#I再将authorized_keys文件传到Gn-MO!上,这样就可以实现hadoop的HA的管理节点Gn-M0KGn・M02之间可以互相无秘钥登陆,实现互通,具体命令如下所示:scp〜/.ssh/authorized_kyesroot@Gn-M01:〜/.ssh/如果提示yes/no的时候,则输入yes密码:输入密码在authorized-keys文件中即有Gn-M01的公钥,又有Gn-M02的公钥,要实现hadoop的HA的管理节点（Gn-M01、Gn-M01）免秘钥登陆数据节点（Gn-S01）,只需将这个authorized_keys文件复制到Gn-S01的〜/.ssh目录下,先将aulhorized_keys文件复制到Gn-S01的〜/目录下,命令如下所示:scp-/.ssh/authorized_kyesroot@Gn-S01:-/如果提示yes/no的时候,则输入yes密码:输入密码Gn-S01节点在终端上生成秘钥,命令如下（一路点击回车生成秘钥）ssh-keygen-trsa生成的秘钥在〜ノ.ssh目录下如下图所示:[root0Gn-SOl.ssh]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(e叩tyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.Thekeyfingerprintis:fc:ld:a4:cc:02:2a:lf:4f:cc:65:d4:ba:3a:27:ed:b5root8Gn-S01Thekey*srandomartimageis:+—[ RSA 2048] +TOC\o"1-5"\h\zI . o.. II+=.o〇!I . o+ S.+, II o+ ・〇・・ II•.oo.II+o..I[root8Gn-S01.ssh]f|将〜/authorized_keys文件复制到〜ノ.ssh目录下,命令如下所示:mv〜/authorized_keys〜ノ.ssh/[root0Gn-SOl.ssh]t11total8rootroot1679Jul21rootroot393Jul21[root0Gn-SOl.ssh]t11total12-rw--rw-rootrootrootroot[786Jul211679Jul21-rw-rrootroot1679Jul21rootroot393Jul21[root0Gn-SOl.ssh]t11total12-rw--rw-rootrootrootroot[786Jul211679Jul21-rw-r-r-1rootroot393Jul21[root0Gn-SOl.ssh]#|09:21id_rsa09:21id_rsa.pub09:231authorizedkeys09:21id_rsa09:21id_rsa.pub验证Gn-M01无秘钥登陆Gn-M02,命令如下:验证Gn-M01无秘钥登陆Gn-M02,命令如下:sshGn-M02[root6Gn-M01~]*ssh|Gn-MQ2~|Lastlogin:TueJul2109:08:432015fromgn-mOl[root;@Gn-M02|Gn・M02无秘钥登陆Gn・M01,命令如下:sshGn-M01[root8Gn-M02.ssh]#|ssnGn-M01|Lastlogin;TueJul2109:27:292015fromgn-m02[rootgGn-MOlT|Gn-MOl无秘钥登陆Gn-SOI,命令如下:sshGn-S01Gn・M02无秘钥登陆Gn-S01,命令如下:sshGn-S01[root0Gn-MO2.ssh]♦|sshGn-SヰLast^ogin:TueJul2109:29:192015fromgn-mOl[rootgGn-S01|>]»|3.2Zookeeper安装部署Zookeeper集群规划Zookeeper是ー个分布式的开放源码的应用程序协调服务,是Hadoop和Hbase的重要组件。具体在集群的部署分布如下表所示:服务主机名版本及下载备注ZookeeperGn-M01版本:Zookeeper-3.4.6下载:http://apache,/zookeeper/stable/Zookeeper的部署一般都奇数个节点,这是由zookeeper的选举算法决定的,hadoop的HA的zookeeper的个数至少为3台Gn-M02Gn-S01注:由于zookeeper的配置在Gn・M01、Gn-M02、Gn-S01都是一致,宜接用ー一台及其配置后远程复制,略加修改即可。解压安装包进入安装目录,命令如下:cd/opt/softwareIs（查看是否有zookeeper的安装包）[rcx)t0Gn-MOl-]♦cd/opt/software/[root0Gn-MOlsoftware]#Isapache-flune-1.5.2-bin.tar.gzhbase-l.0.0-bin.tar.gzredis-3.0.2.tar.gzelasticsearch-1.4.4.tar.gz 「zookeeper-3.4.6.tar.gzhadoop-2.6.0.tar.gz jdkl・フ・071.zip[root0Gn-MOlsoftware]#|如果有zookeeper的安装包，则解压zooke叩er安装包,命令如下所示:tar-zxvfzookeeper-3.4.6.tar.gz配置环境变量注:在Gn-M01、Gn-M02>Gn-SOl上都进行配置环境变量,方便zookeeper服务的启动、停止、状态的查看等操作进入zookeeper的解压目录下,命令如下:cd/opt/software/zookeeper-3.4.6pwd[root0Gn-MOlsoftware]#cdzookeeper-3.4.6[root0Gn-MOlzookeeper-3.4.6]!pwd/opt/software/zookeeper-3.4.61[rootBGn-MOlzookeeper-3.4.6]1|用vi编辑/etc/profile文件,命令如下:vi/etc/profile配置的zookeeper环境变量的内容如下所示：在/etc/profile文件中增加以下配置exportZOOKEEPERH0ME=/opt/software/zookeeper-3.4.6exportPATH=$PATH:$ZOOKEEPERHOME/bin修改完成后保存退出（：wq）修改完成后,让配置的环境变量生效,命令如下所示:source/etc/profile修改配置文件进入zookeeper的配置目录:cd/opt/software/zookeeper-3.4.6/conf7[root0Gn-MOlzookeeper-3.4.6]#ctd/opt/software/zookeeper-3.4.6/conf([root0Gn-MOlconf]#pwdl/gしノsoftware/zookeeper-3・4・67conエI[root0Gn-MOlconf]♦Isconfiguration.xslpertieszoo_sample.cfg[root0Gn-MOlconf]#|复制/〇pt/software/zookeeper-3.4.6/conf/目录下的zoo_sample.cfg至リzoo.cfg»命令如下所示:cd/opt/software/zookeeper-3.4.6/cpzoo_sample.cfgzoo.cfg用vi编辑zoo.cfg文件,配置内容如下所示:tickTime=2000ThenumberofticksthattheinitialsynchronizationphasecantakeinitLimit=10ThenumberofticksthatcanpassbetweensendingarequestandgettinganacknowledgementsyncLimit=5thedirectorywherethesnapshotisstored.donotuse/tmpforstorage,/tmphereisjustexamplesakes.dataDir=/opt/software/zookeeper-3.