Hadoop2.7.3安装配置

1、当前版本 VersionV1.2版本日期 Date2016.09.22页数 Total Pages17制定与修订记录Hadoop 2.7.3安装配置文档1、 Hadoop 2.7.3安装配置1.1安装准备安装Java环境、下载Hadoop 2.7.3压缩包1.2安装Hadoop将Hadoop 2.7.3压缩包解压至”/usr/soft/”目录注意：（1）soft目录为自定义目录，目的用于存放安装的软件，如果没有soft目录可以自行创建或者将Hadoop 2.7.3应用程序文件放置其他自定义目录（usr是Unix System Resource缩写，主要用于存放应用程序。为此这里创建了soft目

2、录，存放应用程序；（2）赋予当前用户对soft读写和执行权限1.3配置hadoop环境变量配置HADOOP_INSTALL和PATH环境变量（在系统环境变量/etc/environment中配置）（1）HADOOP_INSTALL=/usr/soft/hadoop-2.7.3（2）PATH变量追加”:/usr/soft/hadoop-2.7.3/bin: /usr/soft/hadoop-2.7.3/sbin”注意：（1）这里的“/usr/soft/hadoop-2.7.3”路径是指hadoop安装路径；（2）配置完后，使用source命令使environment文件立即生效，命令如下：$ s

3、ource /etc/environment1.4验证Hadoop是否安装成功使用“hadoop version”命令，如下：hadooplocalhost soft$ hadoop version注意：如果提示Java环境出错，有可能是以下原因：（1） 没有安装Java环境（2） Java版本过低（3） 刚刚安装好的Java，还没重启计算机2、Hadoop独立模式配置独立模式：不需要更改配置文件，Hadoop安装包默认独立模式。没有运行的守护程序，所有程序运行在一个JVM中。适合开发期间运行MapReduce程序，易于测试和调试。3、 Hadoop伪分布模式配置伪分布模式：守护程序运行在本地

4、主机，模拟一个小规模集群。3.1配置Hadoop配置文件Hadoop配置文件位于Hadoop安装目录的“/etc/hadoop”目录下，如下图所示：定位至hadoop安装目录下etc目录，复制一份hadoop配置文件hadoop_pseudo$ cd /usr/soft/hadoop-2.7.3/etc/$ cp -R hadoop hadoop_pseudo3.1.1需配置的文件修改hadoop_pseudo目录下配置文件，分别需要配置core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml；其中core-site.xml、hdfs-

5、site.xml、yarn-site.xml可以直接修改，mapred-site.xml可以通过复制mapred-site.xml.template文件创建。3.1.2配置内容（1）、core-site.xmlfs.defaultFShdfs:/localhost/（2）、hdfs-site.xmldfs.replication1（3）、yarn（4）、yarn-site.xmlyarn.resourcemanager.hostnamelocalhostyarn.nodemanager.aux-servicesmap

6、reduce_shuffle3.2安装和配置ssh3.2.1检测SSH安装情况（1）、检查是否装了SSH包$ rpm -qa |grep ssh（2）、辅助检测命令检查SSHD是否在本运行级别下设置为开机启动$ rpm -qa |grep ssh如果没设置启动就设置下.$ chkconfig -level 2345 sshd on重新启动SSH$ service sshd restart看是否启动了22端口.确认下.$ netstat -antp |grep sshd看看是否放行了22口.$ iptables -nL（3）、使用ssh登录本机，如果无法登录，则需安装ssh$ ssh local

7、host3.2.2安装SSH安装命令：$ sudo yum install openssh-server3.3配置远程登录3.3.1生成私钥在主目录下生成一个指纹（即私钥），生成命令如下：$ ssh-keygen -t rsa -P -f /.ssh/id_rsa3.3.2生成keys$ cat /.ssh/id_rsa.pub /.ssh/authorized_keys注意：首次登录需要输入密码，但是由于authorized_keys 文件权限问题，可能导致每次ssh远程登录都需要密码，这时候需要更改authorized_keys 文件操作权限，赋予如下权限即可：hadooplocalhos

8、t .ssh$ chmod 644 authorized_keys3.4格式化HDFS文件系统命令如下：$ hdfs namenode -format3.5启动Hadoop守护进程启动Hadoop守护进程，需要执行Hadoop守护进程启动脚本。一般可以通过以下两种方式：（1） 首先配置HADOOP_CONF_DIR环境变量，然后按顺序直接执行如下命令：$ start-dfs.sh$ start-yarn.sh$ mr-jobhistory-daemon.sh start historyserver注意：HADOOP_CONF_DIR配置示例：$ export HADOOP_CONF_DIR=$

9、HADOOP_INSTALL/etc/hadoop_pseudo（2）-config选项指定配置文件目录注意：下图演示采用config指定配置文件目录（其中“$HADOOP_INSTALL/etc/hadoop_pseudo”得到的是hadoop_pseudo完整路径，$HADOOP_INSTALL是指获取HADOOP_INSTALL环境变量值）3.6验证伪分布式是否安装成功3.6.1查看当前进程可以使用% jps命令查看当前进程，使用如下：3.6.2通过web界面查看l NameNode节点查看：http:/localhost:50070/l 资源管理器节点查看：http:/localhos

10、t:8088/4、Hadoop完全分布模式完全分布模式：守护程序运行在多个主机的集群上。4.1配置分离（1） 创建hadoop符号链接目的是灵活、快速访问hadoop目录，实现配置分离，避免使用环境变量或者是conf方式访问hadoop安装目录。（符号链接相当于Windows的快捷方式）；（2） 使用ln命令创建符号链接，命令使用如下：说明：hadoop_alone hadoop_cluster hadoop_pseudo分别是独立模式、集群模式、伪分布模式配置文件目录。由于现在配置完全分布模式，因此创建指向hadoop_cluster符号链接hadoop。4.2配置远程登录修改hosts文件

11、，配置远程登录4.2.1添加节点域名信息通过vi命令修改host文件，将每个节点IP地址、主机名称添加进hosts命令使用如下：$ sudo vi /etc/hosts4.2.2验证hosts文件修改情况通过ping命令验证是否修改成功4.2.3统一节点hosts信息远程复制hosts文件至各个节点，统一节点hosts信息，使用scp命令，进行远程复制，命令使用如下：$ sudo scp /etc/hosts root35:/etc/4.2.4验证ssh配置情况使用ssh验证ssh是否配置成功4.3配置Hadoop配置文件修改Hadoop配置文件，指定具体节点IP地址，

12、先配置好s0机器上的配置文件，然后通过远程复制，将s0配置复制至各个节点。4.3.1Hadoop配置文件需要修改如下五个配置文件：core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslaves增加masters文件这里配置方案如下：NameNode（名称节点）：s0DataNode1（数据节点1）：s1DataNode2（数据节点2）：s2Secondary NameNode（辅助名称节点）：s34.3.2配置内容（1） 配置名称节点修改core-site.xml文件（2） 配置Hadoop数据副本数修改hdfs-site.xml文件，

13、这里配置2个副本（3） 配置MapReduce框架修改mapred-site.xml文件，这里采用yarn框架（4） 修改yarn配置修改yarn-site.xml文件，配置资源管理器主机名称，这里使用名称节点s0作为资源管理节点，配置如下：（5） 配置主从模式修改slaves文件，配置两个数据节点主机名称，s1和s2（6） NameNode与SecondaryNameNode分离配置a、 增加masters文件，master文件用于解析运行辅助NameNode的机器列表使用vi命令创建masters文件，并添加SecondaryNameNode主机名称（也可以使用IP），这里把主机名称为s3

14、机器作为SecondaryNameNode作为命令如下：$ vi /usr/soft/hadoop-2.7.3/etc/hadoop_cluster/mastersb、 修改hdfs-site.xml在下面文件中增加如下内容：（下面也可以写成ip地址，这里为了理解方便，写的是hostname）dfs.http.addresss0:50070The address and the base port where the dfs namenode web ui will listen on.If the port is 0 then the server will start on a free

15、node.secondary.http-addresss3:50090c、 修改core-site.xml文件，添加如下内容： fs.checkpoint.period 3600 The number of seconds between two periodic checkpoints. fs.checkpoint.size 67108864（7） 将s0集群配置目录hadoop_cluster所有文件远程复制至对应的集群配置目录下，如下：再远程至其他节点文件，验证是否复制成功，如下：4.4格式化hadoop文件系统$ hadoop namenode -format4.5启动Hadoop守护进程$ start-dfs.sh$ star