大数据实践-hadoop集群安装与配置

实践项目名称：Hadoop集群安装与配置

一、实践目的

1.初步掌握Hadoop集成环境搭建。

2.学习相关配置。

二、实践内容

集群安装与配置，性能优化

准备安装文件、设置安装目录及权限、安装与配置JDK、配置网络、配置SSH、修改主机名、

修改配置文件、格式化HDFS。

三、实践过程

c50c>

选择CentOS-65-X64.iso

输入主机名。

算易安装信息

这用于安装CentOS64位・

个《化Linux

全名⑥：

用户名(U)：

密码⑻：

硝认(Q：••••

A用户款户和根除户均使用化密码。

为使用方便，用户名，密码均为hust.

E虐肛机向导

命名求取机

您要为tLS拟机使用什么名诉，

般机名林(Y)：

nuster

(iffCL)：

C:；hadoop<dh5.6.0\ma$tef雌⑻…二

在、*送项~中可更改默认位置。

雄盘大小为多少？

虚联机的硬盘作为一个或多个文件存Mt在主机的物毓盘中。这些文件最臃

小，胸蓍意向虚拟机中添加应用程序、文件碱Uffi逐马交大。

最大磁盘大小(GBX2):20.0：

料对CentOS64位的建议大小：20GB

。将关飒绘存偌为单个文件(。)

将虚拟限盘后分成多个文件(M)

圻分凄俘后，可以更轻松他在计求机之词移动虚拟机，但可登会唧低大客里磁盘的

性能。

2.克降虚拟机slave：

3.Linux设置；

HadoopMaster节点设置机器名

登录后，查看主机ip地址。

可以看到master的ip为34。

(hust^masterDesktop]$ifconfig

Linkencap:EthernetHWaddr90:9(:29:67：EA：17

inetaddr：34Beast:192,168.81.255Hask:255,255.255.6

inet6addr:fe80:：29c：29ff：fe67：eal7/64Scope：Link

UPBROADCASTRUNNINGMULTICASTKTU:159eMetric：1

RXpackets：13errors：0dropped：8overruns：。fraee：G

TXpackets：16errors:0dropped：eoverruns：6carrier：6

collisions：9txqueuelen：1909

RXbytes:1625(1.5KiB)TXbytes:1668(1.6KiB)

同样，查看slave的ip为35

编辑主机名，使用root用户。

|hust@bogon~|$suroot

[rooi@bogonhustj#vi/etc/sysconHg/network

修改制置.信息为

NETWORKING=yes

HOSTNAME二master

执行命令，使修改生效。

(rooi@bogonhust|#hostnamemaster

查看主机名

[root@bogonhustj#hostname

重启虚拟机，可看到机器名已更改。

master

Other...

以root登录，修改hosts文件。

[root@masterhustj#vi/elc/hosts

34master

35slave

在slave上重复master的操作，将主机名修改为slaveo

重启后查看机器名。

最后ping验证

[roottnasterhustj#pingslave

PINGslave(192,168.11.138)56(84)bytesofdata.

64bytesfromslave(38):leapseq=lttl=64time=0.733ms

64bytesfromslave(38):icap_seq=2ttl=64time=0.499ms

配置静态ip

在master卜配置静态ip

以root执行命令

[root@masterhust]#vi/etc/sysconfig/network-scripts/ifcfg-cthO

文件内容

DEVICE="ethO"

BOOTPROTO="static"

HWADDR="00:0C:29:B8:5C:72"

IPV6INIT="yes"

NM_CONTROLLED="yesH

ONBOOT="yes"

TYPE=',Ethcrnct"

UUID="1ba24e95-83f0-4bc1-b8ae-ac0d0e98a39f

IPADDR=34

NETMASK=

GATEWAY=

DNS1=8.888

配置ssh免密钥登录

以root登录master和slave,执行命令关闭防火墙。

[root@mastcrhustj#serviceiptahlcsstop

[roct@masterhust]*serviceiptablesstop

iptables:SettingchainstopolicyACCEPT：filter(OK]

iptables：Flushingfirewallrules:[OK]

iptables:Unloadingmodules:(OK)

永久关闭防火墙命令为

[rooi@masterhustj#chkconfigiptablesoff

用hust登录，在master上创建公钥。

[hust@master〜]$ssh-keygen-trsa

显示如下

[hust@masterssh-keygen-trsa

Generatingpublic/privatersakeypair.

Enterfileinwhichtosavethekey(/home/hust/.ssh/idrsa):

Enterpassphrase(emptyfornopassphrase):

Entersamepassphraseagain:

Youridentificationhasbeensavedin/home/hust/.ssh/idrsa.

Yourpublickeyhasbeensavedin/home/hust/.ssh/idrsa.pub.

Thekeyfingerprintis：

9f:c3:de:32:28:13:6c:92:b2:2d:d9:3e:9c:29:7b:c8hust@master

Thekey'srandomsrtimageis:

+--IRSA2848]----+

.0.

*.oS

♦ooo.

.=0••=

oEB0..00

修改权限

lhust@master-]$chmod700/homs/hust/.ssh

将公钥发送到master

[hust@masterssh-copy-id-i-/.ssh/id_rsa.puhhust@master

将公钥发送到slave

[hust@master~]$ssh-copy-id-i-/.ssh/id_rsa.pubhust@slavc

用ssh连接slave,若不提示密码，表示修改成功。

[hust@master~]$sshslave

[hust@master')$sshslave

Lastlogin:SatMay2765:33:602617froanaster

(hust@slave']$|

退出ssh登录。

[hust@slave~]$exit

[hust@slave-]Sexit

logout

Connectiontoslaveclosed.

[hust@master-J$|

4.安装JDK；

以root登录，切换到/opt目录。

[rooi@mas(eroplj#cd/opt

解压jdk安装包。

|rooi@masteropt|#tar-xzvfjdk-7u71-linux-x64.gz

配置环境变量。

[root@mastcropt]#vi/etc/profilc

在文件中添加。

exportJAVA_HOME=/opt/jdk1.7.0J1

exportPATH=$PATH:$JAVA_HOME/bin

使环境变量生效。

[root@masteroptj#source/etc/profile

验证安装，执行命令。

(root@masteropt]#java-version

(hust@masterjava-version

javaversion-1.8.0151-

Java(TM)SERuntiae^Environaent(build1.8.e151-bl2)

JavaHotspot(TH)64-BitServerVM(build2S.151-bl2,nixedmode)

在slave再执行一遍

5.配置Hadoop集群；

下载hadoop

以root登录，在master和slave上设置对目录/opl的权限。

[root@masterhust]#chown-Rhust/opt

(root@masterhust]#chown-Rhust/opt

(root@masterhustj#suhust

(hust@mastercd_/opt

以hust解压hadoop安装文件。

fhust@masteroptl$tar-xzvfhadoop-2.6.0-cdh5.6.0.tar.gz

解压之后可以查看一下。

[hust@naster~]$cd/opt

[hust@masteropt]$U

total488956

drwxr-xr-x.15husthust4696Sep242019hadoop-2.6.0-cdh5.6.0

-rv-rv-r--.1husthust310935369Sep232019hadoop-2.6.0-cdh5.6.0.tar.gz

dr»xrwxr-x.3husthust4096Sep242919hdfs

drvixr-xr-x.8hust1434096Sep52917jdkl.8.8_151

-rv/-r--r--.1hustroot189736377Nov152017jdk-8ul51-linux-x64.tar.gz

drv/xr-xr-x.2hustroot4096Nov222013rh

进入配置文件目^/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop,查看配置文件。

以下修改文件操作均以hust用户登录，执行。

(1)修改hadoop-env.sh

[hust@master~]$vi/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop/hadoop-env.sh

配置JDK的路径。

在文件中找到

ExportJAVA_HOME=$(JAVA_HOME}

将其改为：

ExportJAVA_HOME=/opt/jdk1.7.0_71

在文件末尾，加上：

exportHADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0

(2)修改core-site.xml

[hust©master〜]$vi/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop/core-si(e.xml

加入代码:

<configuration>

〈properly〉

<namc>fs.dcfault.namc</namc>

<value>hdfs://master:9000</value>

</property>

</configuration>

(3)修改hdfs-site.xml

[husi@maslervi/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop/hdfs-site.xml

修改文件内容为：

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

〈property〉

<name>.dir</name>

<value>/opt/hdfs/name</value>

</propcrty>

<property>

<name>dfs.dala.dir</name>

<value>/opt/hdfs/data</value>

</property>

</configuraiion>

(.4)修改mapred-site.xml

(hust@master~]$vi/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop/mapred-site.xml

若没有该文件，可从m叩red-sile.xml.lemplaie文件复葡

[hust@master~]$cpetc/hadoop/mapred-site.xml.templateetc/hadoop/mapred-site.xml

将文件内容改为：

〈configuration〉

<propcrty>

<name></name>

<vakie>yarn</value>

</propcrty>

</configuration>

(5)修改yarn-site.xml

[hust@master~|$vi/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop/yarn-site.xrnl

将•文件内容修改为：

<configuration>

<!-SitespecificYARNconfigurationproperties->

〈properly〉

<namc>yarn.nodcmanagcr.aux-scrviccs</namc>

<value>mapreduce_shuffle</value>

</property>

<propcrty>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<vakie>org.apache,hadoop

.maprcd.ShufflcHandlcr</valuc>

</property>

<property>

<name>yarn.resourcenianager.address</name>

<value>master:1804l</value>

</property>

<propcrty>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

〈/property〉

<propcrty>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>niaster:8082</value>

</propcrty>

<proper(y>

<name>yarn.resourcenianagcr.admin.address</name>

<value>master:18!41</value>

</properly>

<property>

<name>yarn.resourcemanager.webapp

.address</name>

<value>mastcr:18088</valuc>

</property>

</configuraiion>

(6)修改slaves

fhust@mastervi/opt/hadoop-2.6.0-cdh5.6.0/etc/hadoop/slaves

将localhost改为从节点机器名slaveo若有多个从节点,则改为slave1,slave2...<»

FileEditViewSearchTferminalHelp

|la'/e

将配置好的hadoop发送到从节点。

[hust@master~]$scp-r/opl/hadoop-2.6.0-cdh5.6.0hust@slave:/opl

在所有节点上用root登录，配置环境变量。

#vi/etc/profile

在文件中加入：

exportHADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0

exportPATH=$PATH:$HADOOP_HOME/bin

使配置生效，执行：

#sourcc/etc/profilc

格式化HDFS

第一次使用hadoop之前必须进行格式化。

以hust登录master,执行。

[hust@master〜]$hadoopnamenode-format

格式化成功会有提示。

............................

SHUTDOtiHSG：ShuttingdownNaneNodeat•aster/37

6.启动Hadoop集群。

修改权限。

[husi@master-]$chmod+x-R/opt/hadoop-2.6.0-cdh5.6.0/sbin

执行启动命令。

[hust@master〜]$/op(/hadoop-2.6.0-cdh5.6.0/sbin/start-all.sh

启动成功显示：

hadoop-hust-secondarynamenode-master.outII

20/11/0722:55:16WARNut11.Nat1veCodeLoader：unabletoloadnative-hadooplibra

ryforyourplatform...usingbuiltin-javaclasseswhereapplicable

startingyarndaemons

startingresourcemanager,loggingto/opt；hadoop-2.6.0-cdh5.6.9/logs/yarn-hust-r

esourcemanager-master.out

slave:startingnodemanager,loggingto/opt/hadoop-2.6.0-cdh5.6.G/logs/yarn-hus

t-nnriemananpr-slavp.mit

查看50070端口，可以看到Daianode相关信息。

http://mastcr:50070

NonBlock

LastAdminDFSpoolFailed

NodecontactStateCapacityUsedUsedRemainingBlocksusedVolumesVen

slave0In17.43GB5444.6112.82GB1154402.6.(

(192.16881.140:50010)ServiceKBGBKBcdh!

(0%)

18088端口可以查看集群相关信息。

http://master:18088

AppsAppsAppsAppsContainersMemoryMemoryI

SubmittedPendingRunningCompletedRunningUsedTbtal

100100B8GB

UserMetricsfordr.who

AppsAppsAppsAppsContainersContaiI

SubmittedPendingRunningCompletedRunningPendlI

000100I

Hadoop集群的停止命令是：

[hust@master-]$/opt/hadoop-2.6.0-cdh5.6.0/sbin/stop-all.sh

可以查看进程。

hust@master~]$jps

[hus:@master']$jps

2886SecondaryNameNode

3275Jps

2699NameNode

3021ResourceManager

slave：

(hust^slaveroot]Scd

(hust^slave-JSjps

2743NodeManager

2638DataNode

2894Jps

验证安装可以运行hadoop自带的实例。

(1)执行实例程序计算pi

在目^/opt/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreduce2

[hust@mastermapreduce2]$hadoopjarhadoop-mapreduce-examples-2.6.0-cdh5.6.0.jarpi22

FileInputFormatCounters

BytesRead=236

FileOutputFormatCounters

Byteswritten=97

JobFinishedin25.988seconds

EstiaatedvalueofPiis4.。。。。。。。。。。。。。%。。。。。

9••

(2)wordcount实例(单词计数)

运行/opl/hadoop-2.6.0-cdh5.6.0/share/hadoop/mapreducelFl录卜的wordcount实例。

创建文件wordtest,内容为hcEohadoopbyehadoopo

传到hdfs上。

[husi@masterviwordtest

FileEditViewSearchTferminalHelp

Jellohadoopbyehadoop

在hdfs上新建/input目录，将wordtest文件传到hdfs上保存。

[hust@mastermapreducell$hadoopdfs-mkdir/input

[hust@mastermapreducel]$hadoopdfs-putwordiest/input

查看文件

(hust@mastermapreducel]$hadoopdfs-Is/input

[hust@aaster-]$hadoopdfs-Is/input

DEPRECATED：Useofthisscripttoexecutehdfscommandisdeprecated.

Insteadusethehdfscommandforit.

26/11/2467:13:53WARNutil.NativeCodeLoader：unabletoloadnative-hadooplibra

ryfcryourplatfom...usingbuiltin-javaclasseswhereapplicable

Founc3items

-rw-r--r--3hustsupergroup33482G2G-11-0908:21/input/testsequence

-rv-r--r--3hustsupergroup242020-11-0908:02/input/text456

-rw-r--r--3hustsupergroup242019-09-24ei：ll/input/wordtest

lhust@mastermapreduce1]Shadoopjarhadoop-examples-2.6.0-mrl-cdh5.6.0.jarwordcount/input

/output

运行结果在HDFS的/output目录下.

[hust@mastermapreduce1]$hadoopdfs-Is/output

[hust@aaster-]$hadoopdfs-Is/output

DEPRECATED：Useofthisscripttoexecutehdfscommandisdeprecated.

Insteadusethehdfsconnandforit.

29/11/2407:14:19WARNutil.NativeCodeLoader：unabletoloadnative-hadooplibra

ryfcryourplatform...usingbuiltin-javaclasseswhereapplicable

Founc2iteas

-rw-r--r--3hostsupergroup62619-69-2461:13/output/SUCCESS

-rw-r--r--3hustsupergroup232619-69-2461:13/