Centos7安装和配置hadoop2.7.3的流程和总结

1、CentOS7 安装完整流程及总结一、前言配置一台 master 服务器，两台（或多台） slave 服务器， master 可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过 SecureCRT的rz命令上传文件到服务器，解压安装JDK解压安装 Hadoop配置hadoop的、文件。配置好之后启动 hadoope服务， 用jps命令查看状态。再运行 hadoop自带的wordcount程序做一个 Hello World 实例。二、准备工作我的系统：windows 10 家庭普通中文版cpu:intel i5内存：8G64位操作系统需要准备的软件和文件（全部是 64

2、 位安装包）1.虚拟机：VMware 12 Pro官网下载： 选择DVD ISO标准版）及以上，官网下载： 下载地址：version三、安装过程提示：先创建一台虚拟机,安装好centos7系统，使用VMware的克 隆功能，克隆另外两台虚拟机。这样可以节省时间。虚拟机设置更件选项设备摘要2GB口处理器12 硬盘(sesr)20 GB/CD/DVD (3DE)正在使用文件 G:CentO5-7-icB6_64-.嗇网錨适那盘NAT目USB控制器存在电声卡自幼樹M哥打印机存在團且示器J个监视器当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hos

3、ts 文件内容为：1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）127.0.0.1 lccalhot masrer.hadoop localhcst4 Iocalho3t4.1oealdofiiadr4岸：1lccalhfysr Inrslhnsr. InrAlrtnmain Iryslhnstfi laralhnsrfi. lncAllnmfli1nfi192.166.186.12S master.hadoapm2.丄bB.丄ss 丄/鼻 slavei. hadoop192.168.186.130 slav authorized_keys7) ssh cat

4、 /.ssh/ authorized_keys8) ssh. cat /.ssh/ authorized_keys9) 把 master 服务器的 authorized_keys 、known_hosts 复制到 slave服务器的 /root/.ssh 目录scp -r /root/.ssh/authorized_keys:/root/.ssh/scp -r /root/.ssh/known_hosts:/root/.ssh/scp -r /root/.ssh/authorized_keys:/root/.ssh/scp -r /root/.ssh/known_hosts:/root/.ss

5、h/10)完成后，ssh、ssh或者(ssh、ssh )就不需要输入密码直接登录到其他节点上rootmaster ssh rootcBslavel_ hadoopLast login: sat Nov 26 23:10:58 2016 from 152.16S.186.1 root&sT avel # eti t登出tonnacrycin 匸o si aval, hadoop closed.r got master -# ssh roots lave?h 咼cioopLast 1 oqi n: Sat Nov 26 22110:59 2016 from 152.163.186.1 root&s

6、TavQ2 # exit登出 ，Connects on to siave2. hadoop c1osed.r oDt er |Secure CRT连接虚拟机1、在VMware中把三台虚拟机启动，如下图所示:2、打开SecureCRT在一个session里连接三台虚拟机，就可以登录 实现操作。Fiel-Quick Conn ecti onProtocol:ssh2前提条件是在中实现了 ssh免密码登录Host name: 连接的主机名Username: root 连接主机的用户名Conn ect依次连接好三台虚拟机Fibi Eclt Vvw Dptcrm lTan*iar Kenpl TqcIh

7、 Vilndaw Hhlp .Ml*3 niqo Ditww QUi3、结果如下:4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下，输入命令：rz，回车后，弹出文件选择窗口，选择文件，点击 add,再0K文件就上传到当前服务器的当前目录下rz命令如果没有安装，使用这个命令安装：yum in stall Irzsz輪* 4k M* 叶划号t理讥*Th層Zx MtrsiiEM.iK.ia m丄.ikL AEA 2-ClR11 23Q|f*r f*T- K 4*Jj|io r banlu-rHHcLhlnvd霁臼BbRkrnfriulhmlwmp bcaEapbKt 血ilk:z

8、tHeif J画皿吋二鼻de*n!1 W.宜pdk-TBTrnuw- rw.grrtfl, to9 64-Bic server vw Cbuild 24* 79-b02( mixed mode) root&niaster *#安装提要1）secureCRT 上传“，放至U /home/hadoop 目录下2）只在master服务器解压，再复制到slave服务器（scp命令传输）3）解压，输入命令，tar -xzvf 在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name （文件中会用到）配置文件1、/home/hadoop/ 目录下的 /hom

9、e/hadoop/tmp1317022、 配置 /home/hadoop/ 目录下的 1 :50090true3、配置 /home/hadoop/ 目录下的 yarntrue :50030:10020 :19888 :90014、配置 /home/hadoop/ 目录下的mapreduce_shuffle :8032 :8030 :8031 :8033 :8088 2048提示：的值一定要注意，在最后的 hello world 程序运行时，会提示 内存太小，（hadoop运行到:Running job 后停止运行）我把它从 1024 改成了 20485、配置 /home/hadoop/ 目录下

10、、的 JAVA_HOME取 消注 释 ， 设 置 为 export JAVA_HOME=/home/java、/ 配 置 /home/hadoop/ 目录下的 slaves ，删除默认的 localhost ，增加 2 个 slave 节点 :7、将master服务器上配置好的Hadoop复制到各个节点对应位置上,通过scp传送scp -r /home/hadoopscp -r /home/hadoop 启动 hadoop提示：在master服务器启动hadoop各从节点会自动启动，进入/home/hadoop/目录，hadoop的启动和停止都在 master服务器上执行。1）初始化，在目录下

11、输入命令，bin/hdfs name node- format2）启动命令sbin/sbin/root3master liadoap*?. 7. 3# sbi n/stop-dfs. sh stoppi ng namenades on mastehadoop master, nadaop: &toppi ng nunenode siaveZ,hadoop: stapping datanode siavel,hdoap: stapping datanodeErooti&naster hadoap-2. 7. 3 sbi 门/石工0口一丫3门.5|1 stopping yarn daernons

12、st oppi ng resoiircemanagersi aveZ. ndaop: sroppi ng nodeinanager 耳1 也丫电1 hecloop: stopping nodemanager no proxyserver to stoprooter hadoop-2了.于#3）输入命令，jps，可以看到相关信息master上看至UErootOmasrQr hadoop-2.7.3# jps 4248 NameNode4773 Jps4496 ResourceMartaigmr roorOmasr er hactoop-Z. 7. 3#slave 上rooxaslavel 斗#

13、jps 301 Jps341 KodeMnger3 34 DaTaNo 鬥 1e4.i1 root1 root1 root1 root月月月月 11X1 1111 2 3 5 51 1 2 1 otgotCT o o o o22:01 22； 01 03:16Qi: 17filel.txt file2.txt f i 1 e 3. t xt f i 1 e4. r xr然后把数据put到HDFS里rnnTBjniir pt rDotmistor r uar&master Fuund 4 ittrumapreducej# cap-2. 7.3# hacocjp-2. 7”dj*/twmer na

14、doop/ n/hdnrtp rx b n/hadoop fs bJ n/hadoop fsradoop-2* 7* 3-pur /homA/hAflnnp f i 1 p/fi 1 p7! . tart /i -put hcm/hadoop fi1e/file4.txt /d -15 /i npuLnpi.T nputl rooi superqoup1 root supergroup1 root supergroup1 root supergroup hacoop 2h 3z 3 F3 511-21201&-Ll-Z 2D16-11-2S 2016-11-262016-11-26/Inpui

15、/Tlei.rxLinput t- Ie2.txt21：4321:4303 : 26门命11壬/鬥1电)-赶 03:26 /input/file4.txt进入所在文件夹，使用pwd输出当前目录的路径Eroot&master nipr edu匚e# 1 s hariocin-manirpflijr-rl ilie lieroor&master mapredu匚e# pwd 7honiR/Ti&d0opfhNdcK)pE 了、3/shar e/hadoap? mapr edu匚e roornater mapredike#在/home/hadoop/目录下执行命令：bin/hadoopjar sha

16、re/hadoop/mapreduce/wordco unt /in put/output216/11/26 16/11/76 16/11/26 16/ll/2fi 16/11/26 16/11/26 16/H/26 ifi/U/26lb/U/2616/11/26 16/11/26 lfi/Xl/Jfi 16/H/26 ie/H/26CllIenL. kMPfCxy!: CwimLLlriy Lq Risujr eufiaridydL ma.bLr.丄由8 1S6iinpur. Fi 1 ernpiJtFnrmAt; Total inpurt paths to: 4vnapreduce Job

17、Eutniritt喫r: nuriber of splits:-!tilapreduce. 丁口bsubinliter :!inphYarnclientwpl: submitted niApreduce jab： vnapreduce Job: viMprudum fflpreduc?lob: vnpreduce Jab: tilapr educe. 3ub： prcduce. Job: maprEduce.3ob： vnapreduce .Job： Job |0&_1480101145011_001 conp leted 呂 u 匸匚 esstul ly mapruducJb: counit

18、irs: 51FileCoyntpr匚U C _bJiishar_fkf_tn/rDc:_严 QHrlll I 0 3 81 _CK) 01- _ _二 rhe job: hncrp:er. hadoop:BJOfiB/proy/iai Rumi fig job: job_14&01G0450JBlJub *mapniritfj聊却imapmg Ob: JobJ+BUlGWSOJBl.OOOlJqu_J4801M450Jil_0001 rumhig In uber noik : 0( reduce CMS505& reduce 0%75 reduct* OKiocs reduce 0%IDO%

19、 reduce lOOlfeINFO : Job job_0001 completed successfully意味着运行成功，否则就要根据出错信息或者日志排错。其中，/output2是执行结果输出目录（因为之前已经存在了 output文件夹 了），到此，HelloWorld 就顺利执行了，你可以用hadoop fs -cat /output2/part-r-*命令来查看结果.结果如下:Lrooti?5Tcr hdcop 2.3J# bin/hackxp f s -15Is: s No such file or directory1 root s oprqrciup0 2016-11-26 0

20、3: 31 /out pu t Z/UCCESS1 rnoi supergroup3fi 2iEML6-11-215 03:31 /nut pu 12/partHr-CHtMflOhadoop-?. 7； 3J# bin/hsdcop fa -cat /outputJ/part-r-&000(rootmaster hadoop-Z子3# b1 n/thadcop fs -Is /autputz round 2 fiurar=1寸1_-rw-r1一Hactoop 2Hello 5*orld 2二hidiJocj|j-2 71#xlionqf e1l _心“11沐曰bin/hadoop fs bi

21、 n/hadoop fs bln/hadoop fs bi n/hacioop f s-car /i nput/fi 1 el, rxt -cat /input/fi1e2.txt -car /input/filei.rxr -car /input/fille4.txt查看之前的文件内容，对比上图的结果。roormaster hadoop-2.7.3# Hello worldrootmaster hadoop-2. 7. 3# Hello Hadooprootmarer hadoop-2. 7*3# Hell d worl ci Hel 1 o Hadoop rootmaster hadoop

22、-2 7 3* Hel 1 o xl ongfelroormasrer hadoop-2 7. 3#五、引用来源 提示：从安装到配置再到成功运行 hadoop 的 wordcount 程序，借鉴 了来自以下网页中的智慧，根据实际情况稍做修改。在此表示感谢！1、CentOS7安装完整流程-OPEN开发经验库、CentOS下SSH远程登录服务器详解、 ssh 连接失败，排错经验、CentOS7安装完整步骤、CentOS上 JDK的安装与环境变量的配置、分布式安装HADOO笔记、 hadoop 自带例子程序 wordcount 详解、Cen tOS7中安装，能够正常启动，但 data node的数目为0的解