Cent OS7环境下hadoop2.6.1完全分布式部署

1、 环境: 3台CentOS7 64位 Hadoop2.6.1 (1).安装centos 7(2).修改三台服务器/etc下的hosts和hostname：三台服务器的Hostname分别修改：master-hadoop、slave1-hadoop、slave2-hadoop三台服务器的Hosts文件修改为一致的： master-hadoop slave1-hadoop slave2-hadoop注意：这里的IP为三台主机实际IP地址.(3). 关闭防火墙 （三台机器全部关闭）# systemctl status firewalld.service -查看防火墙状态# systemctl stop firewalld.service -关闭防火墙# systemctl disable firewalld.service -永久关闭防火墙2、 SSH免密码登录设置.因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys。(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，#RSAAuthentication yes#PubkeyAuthentication yes(2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，cat id_rsa.pub authorized_keysssh root cat /.ssh/id_rsa.pub authorized_keysssh root cat /.ssh/id_rsa.pub authorized_keys(4)把Master服务器/root/.ssh的authorized_keys、known_hosts两个文件复制到两台Slave服务器的/root/.ssh目录在两台slave服务器上执行：/sbin/restorecon -Rv /root/.ssh(5)完成，ssh root、ssh root就不需要输入密码了3、 安装JDK 先卸载系统原版本# java version使用# rpm -qa | grep java 会看到自带的Javajavapackages-tools-3.4.1-6.el7_0.noarchtzdata-java-2014i-1.el7.noarchjava-1.7.0-openjdk-headless-1-.el7_0.x86_64java-1.7.0-openjdk-1-.el7_0.x86_64python-javapackages-3.4.1-6.el7_0.noarch卸载JDK，执行以下操作：# rpm -e -nodeps tzdata-java-2014i-1.el7.noarch# rpm -e -nodeps java-1.7.0-openjdk-headless-1-.el7_0.x86_64# rpm -e -nodeps java-1.7.0-openjdk-1-.el7_0.x86_64安装新的JDK上传新的jdk-8u25-linux-x64.rpm软件到/usr/local/执行以下操作：# rpm -ivh jdk-8u25-linux-x64.rpmJDK默认安装在/usr/java中。验证安装执行以下操作，查看信息是否正常：# java -versionjava version 1.8.0_25Java(TM) SE Runtime Environment (build 1.8.0_25-b17)Java HotSpot(TM) 64-Bit Server VM (build 25.25-b02, mixed mode)配置环境变量修改系统环境变量文件#vim /etc/profile向文件里面追加以下内容：JAVA_HOME=/usr/java/jdk1.8.0_25JRE_HOME=/usr/java/jdk1.8.0_25/jrePATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport JAVA_HOME JRE_HOME PATH CLASSPATH使修改生效# source /etc/profile /使修改立即生效4、安装Hadoop2.6.1。只需要在Master服务器解压后配置，三台主机配置是一样的，可直接复制到Slave服务器 无需再到slave服务器配置。(1)把“hadoop-2.6.1.tar.gz”，放到master的/home/hadoop目录下(2)解压，输入命令，tar -xzvf hadoop-2.6.1.tar.gz(3)在/home/hadoop目录下创建数据存放的文件夹，tmp、dfs、dfs/data、dfs/name5、配置/home/hadoop/hadoop-2.6.1/etc/hadoop目录下的core-site.xml。这个文件是指定 NameNode的host名/ip和端口号，端口号可以根据自己的需要修改： fs.defaultFS hdfs:/master-hadoop:9000 hadoop.tmp.dir file:/home/hadoop/tmp io.file.buffer.size 131702 xyuser.hadoop.hosts * xyuser.hadoop.groups *6、配置/home/hadoop/hadoop-2.6.1/etc/hadoop目录下的hdfs-site.xml 。这个文件是配置HDFS的namenode和datanode的存储路径、网络访问端口。 .dir file:/home/hadoop/dfs/name dfs.datanode.data.dir file:/home/hadoop/dfs/data dfs.replication 2 node.secondary.http-address master-hadoop:9001 dfs.webhdfs.enabled true 7、配置/home/hadoop/hadoop-2.6.1/etc/hadoop目录下的mapred-site.xml.template。该文件用于指定MapReduce使用的框架和设置MapReduce的web访问端口。 yarn mapreduce.jobhistory.address master-hadoop:10020 mapreduce.jobhistory.webapp.address master-hadoop:19888 8、配置/home/hadoop/hadoop-2.6.1/etc/hadoop目录下的yarn-site.xml 。这个文件是设置nodemanager和resourcemanager的web访问端口。 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address master-hadoop:8032 yarn.resourcemanager.scheduler.address master-hadoop:8030 yarn.resourcemanager.resource-tracker.address master-hadoop:8031 yarn.resourcemanager.admin.address master-hadoop:8033 yarn.resourcemanager.webapp.address master-hadoop:8088 yarn.nodemanager.resource.memory-mb 1024 注意：最后一个yarn.nodemanager.resource.memory-mb属性是指nodemanager的运行内存值，该值不能低于1024M，否则nodemanager无法启动。9、配置/home/hadoop/hadoop-2.6.1/etc/hadoop目录下hadoop-env.sh、yarn-env.sh，给这两个文件添加JAVA变量，否则Hadoop无法找到Java运行环境。在末尾添加：export JAVA_HOME=/usr/java/jdk1.8.0_6010、修改/home/hadoop/hadoop-2.6.1/etc/hadoop目录下的slaves文件，删除里面默认的“localhost”，输入两台slave的主机名：slave1-hadoopslave2-hadopp11、将配置好的Hadoop复制到各个节点上的/home/路径下，可以通过远程传输命令scp传送到slave服务器上面或者使用其他方式拷贝。在终端执行：scp -r /home/hadoop slave1-hadoop:/home/scp -r /home/hadoop slave2-hadoop:/home/12、在Master服务器启动hadoop，从节点会自动启动，进入/ho