Hadoop和Spark搭建完全分布式集群

1、Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程.选取三台服务器（CentOS系统64位）8 主节点7 从节点3 从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root 用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。.修改hosts文件修改三台服务器的hosts文件。vi /etc/hosts在原文件的基础最后面加上： 8 Master 7 Slave1 3 Slave2修改完成后保存执行如下命令。source /etc/hosts.ssh无密码验证配置安装和启动ssh协议我们需要两个服务：ssh和

2、rsync。可以通过下面命令查看是否已经安装：rpm -qa|grep opensshrpm -qa|grep rsync如果没有安装ssh和rsync，可以通过下面命令进行安装：yum install ssh （安装 ssh 协议）yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机 间的文件）service sshd restart （启动服务）配置Master无密码登录所有Salve配置Master节点，以下是在Master节点的配置操作。1）在Master节点上生成密码对，在Master节点上执行以下命令：ssh-keygen -

3、t rsa -P 生成的密钥对：id_rsa和id_rsa.pub，默认存储在/root/.ssh目录下。2）接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。cat /.ssh/id_rsa.pub /.ssh/authorized_keys3）修改ssh配置文件/etc/ssh/sshd_config的下歹U内容，将以下内容的注释去掉：RSAAuthentication yes # 启用 R.SA 认证PubkeyAuthentication yes #启用公钥私钥配对认证方式AuthorizedKeysFile .ssh/authorized_keys

4、#公钥文件路径（和上面生成的文件同）4）重启ssh服务，才能使刚才设置有效。service sshd restart5）验证无密码登录本机是否成功。ssh localhost6）接下来的就是把公钥复制到所有的Slave机器上。使用下面的命令进行复制公钥：scp /root/.ssh/id_rsa.pub rootSlave1:/root/scp /root/.ssh/id_rsa.pub rootSlave2:/root/接着配置Slave节点，以下是在Slave1节点的配置操作。1）在/root/下创建.ssh文件夹，如果已经存在就不需要创建了。mkdir /root/.ssh2）将Mast

5、er的公钥追加到Slave1的授权文件authorized_keys中去。cat /root/id_rsa.pub /root/.ssh/authorized_keys3）修改/etc/ssh/sshd_config,具体步骤参考前面Master设置的第3步和第4步。4）用Master使用ssh无密码登录Slave1ssh 75）把/root/目录下的id_rsa.pub文件删除掉。rm -r /root/id_rsa.pub重复上面的5个步骤把Slave2服务器进行相同的配置。配置所有Slave无密码登录Master以下是在Slave1节点的配置操作。1）创建Slave1自己的公钥和私钥，并

6、把自己的公钥追加到authorized_keys文件中，执行 下面命令：ssh-keygen -t rsa -P cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys2）将Slave1节点的公钥id_rsa.pub复制到Master节点的/root/目录下。scp /root/.ssh/id_rsa.pub rootMaster:/root/以下是在Master节点的配置操作。1）将Slavel的公钥追加到Master的授权文件authorized_keys中去。cat /id_rsa.pub /.ssh/authorized_keys2）删

7、除Slave1复制过来的id_rsa.pub文件。rm -r /root/id_rsa.pub配置完成后测试从Slavel到Master无密码登录。ssh 8按照上面的步骤把Slave2和Master之间建立起无密码登录。这样，Master能无密码验证登 录每个Slave，每个Slave也能无密码验证登录到Master。4.安装基础环境（JAVA和SCALA环境）Java1.8环境搭建1）下载 jdk-8u121-linux-x64.tar.gz 解压tar -zxvf jdk-8u121-linux-x64.tar.gz2）添加Java环境变量，在/etc/profile中添加：export

8、 JAVA_HOME=/usr/local/jdk1.8.0_121PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/rt.jarexport JAVA_HOME PATH CLASSPATH3）保存后刷新配置source /etc/profileScala2.11.8 环境搭建1）下载 scala 安装包 scala-2.11.8.rpm 安装rpm -ivh scala-2.11.8.rpm2）添加Scala环境变量，在/etc/profile中添加：export SCALA_HOME=/usr/share/scalaexport PA

9、TH=$SCALA_HOME/bin:$PATH3）保存后刷新配置source /etc/profile5.Hadoop2.7.3完全分布式搭建以下是在Master节点操作：1）下载二进制包 hadoop-2.7.3.tar.gz2）解压并移动到相应目录，我习惯将软件放到/opt目录下，命令如下：tar -zxvf hadoop-2.7.3.tar.gzmv hadoop-2.7.3 /opt3）修改相应的配置文件。修改/etc/profile，增加如下内容：电export HADOQP_HQME=/opt/hadoop-2.7.3/export PATH=$PATH:$HADOOP_HOME

10、/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_ROOT_LOGGER=INFO,consoleexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS=-Dja

11、va.library.path=$HADOOP_HOME/lib电修改完成后执行：source /etc/profile修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改 JAVA_HOME 如下：export JAVA_HOME=/usr/local/jdk1.8.0_121修改$HADOOP_HOME/etc/hadoop/slaves，将原来的localhost删除，改成如下内容:SlavelSlave2修改$HADOOP_HOME/etc/hadoop/core-site.xml等configurationfs.defaultFShdfs:/Maste

12、r:9000io.file.buffer.size131072/propertypropertyhadoop.tmp.dir/opt/hadoop-2.7.3/tmp/configuration)修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml电node.secondary.http-addressMaster:50090dfs.replication2.dirfile:/opt/hadoop-2.7.3/hdfs/namedfs.datanode.data.dirfile:/opt/hadoop-2.7.3/hdfs/data/configuration)电复制

13、template,生成xml,命令如下:cp mapred-site.xml.template mapred-site.xml修改$HADOOP_HOME/etc/hadoop/mapred-site.xml电yarnpropertymapreduce.jobhistory.addressMaster:10020/propertymapreduce.jobhistory.addressMaster:19888/configuration)电修改$HADOOP_HOME/etc/hadoop/yarn-site.xml等yarn.nodemanager.aux-servicesmapreduce

14、_shuffleyarn.resourcemanager.addressMaster:8032yarn.resourcemanager.scheduler.addressMaster:8030yarn.resourcemanager.resource-tracker.addressMaster:8031yarn.resourcemanager.admin.addressMaster:8033yarn.resourcemanager.webapp.addressMaster:8088/configuration)4）复制Master节点的hadoop文件夹到Slavel和Slave2上。scp

15、-r /opt/hadoop-2.7.3 rootSlave1:/optscp -r /opt/hadoop-2.7.3 rootSlave2:/opt5）在 Slave1 和 Slave2 上分别修改/etc/profile,过程同 Master 一样。6）在Master节点启动集群，启动之前格式化一下namenode：hadoop namenode -format启动：/opt/hadoop-2.7.3/sbin/start-all.sh至此hadoop的完全分布式环境搭建完毕。7）查看集群是否启动成功：jpsMaster 显示：SecondaryNameNodeResourceManag

16、erNameNodeSlave显示：NodeManagerDataNode6.Spark2.1.0完全分布式环境搭建以下操作都在Master节点进行。1）下载二进制包 spark-2.1.0-bin-hadoop2.7.tgz2）解压并移动到相应目录，命令如下：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgzmv hadoop-2.7.3 /opt3）修改相应的配置文件。修改/etc/profie，增加如下内容：export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/export PATH=$PATH:$SPARK_HOM

17、E/bin复制 spark-env.sh.template 成 spark-env.shcp spark-env.sh.template spark-env.sh修改$SPARK_HOME/conf/spark-env.sh，添加如下内容:export JAVA_HOME=/usr/local/jdk1.8.0_121export SCALA_HOME=/usr/share/scalaexport HADOOP_HOME=/opt/hadoop-2.7.3export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop export SPARK_MASTE

18、R_IP=8export SPARK_MASTER_HOST=8export SPARK_LOCAL_IP=8export SPARK_WORKER_MEMORY=1gexport SPARK_WORKER_CORES=2export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7export SPARK_DIST_CLASSPATH=$（/opt/hadoop-2.7.3/bin/hadoop classpath）复制 slaves.template 成 slavescp slaves.template slaves修改 $SPARK_HOME/conf/slaves，添加如下内容：MasterSlave1Slave24）将配置好的spark文件复制到Slave1和Slave2节点。scp /opt/spark-2.1.0-bin-hadoop2.7 rootSlave1:/optscp /opt/spark-2.1.0-bin-hadoop2.7 rootSlave2:/opt5）修改Slave1和Slave2配置。