《Spark技术》-《Spark技术》-项目二

项目二Spark集群的构建与安装延时符序言02延时符项目描述

模拟一个大数据实时处理项目开发需要环境，正式开启大数据实时分析系统的环境搭建。本章先介绍Spark的基本安装方法，在介绍Spark集群环境搭建方法。项目分析

通过需求分析工程师、软件设计工程师的工作，已经对系统进行了整体的设计，系统由数据采集模块、数据缓冲模块、数据处理模块三个子模块构成，其中数据采集使用Flume，数据缓冲模块使用中间件Kafka，数据处理模块使用SparkStreaming。0301OPTION02OPTIONSpark集群安装Spark集群搭建目录页延时符Spark集群安装1.jdk安装2.节点间的配置3.Spark安装包下载04任务105Spark集群安装负责Spark应用程序提交。在Client模式下，启动Diver程序，负责监控task执行和结果的回收等。完整的Spark集群应该包含以下三部分MasterWorker客户端Spark资源管理的主节点，负责管理集群的总资源、管理Worker节点，以及为提交在集群中的应用程序分配资源。Spark资源管理的从节点，在Cluster模式下负责启动Driver。负责启动Executor运行task。此外，Worker接地但还负责数据的存储、数据的持久化、数据处理等。jdk安装登录官网下载JDK8，进行安装配置。这里下载的式tar.gz格式JDK8。直接将下载好的压缩包上传到master中，进行解压配置即可。Spark集群安装Spark安装准备网站网址为：/technetwork/java/javase/downloads/jdk8-downloads-2133151.html06Spark集群安装

将解压的jdk和配置好的/etc/profile文件发送到两个Work节点和客户端，当将文件发送到其他节点时，需要输入对应节点的密码（如果设置了免密登录就不需要密码）。07Spark集群安装

在两台Worker节点和客户端节点上分别执行如下命令，使profile文件生效，并检查jdk是否安装成功：08Spark集群安装节点间的配置在节点间配置免密的目的是节点之间在集群启动或者任务运行过程中会有大量通信，配置了免密登录后，可以避免后期节点之间有密码访问需要认为输入密码的麻烦，同时，当节点之间有文件或者数据传输时，需要认为输入节点密码，非常步方便，配置了免密，极大地削弱了人工干预集群的情况，这是有必要的。分别在三台节点上敲3个回车，就会在.ssh文件下会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）。09Spark集群安装Spark安装包下载

可以登录Spark官网/downloads.html中下载最新版本的Spark安装包，也可以在/dist/spark/下载Spark的历史版本。

后期会将Spark与Hadoop体系的技术进行整合，这里选择的Spark版本是基于Hadoop2.6的spark-2.3.1-bin-hadoop2.6.tgz，如下图所示。单击之后即可下载，将下载好的压缩包保存起来。10Spark集群搭建1.Spark集群构建流程2.Saprk集群搭建11任务212Spark集群构建流程01020304Spark分布式集群Spark集群规划安装配置支持软件运行平台构建安装配置Spark05启动Spark并验证13Spark集群搭建1.2.配置Master节点在spark-env.sh中配置：JAVA_HOME:Spark集群的运行需要依赖java的环境变量，所以这里配置JAVA_HOME。SPARK_MASTER_HOST:配置Master节点的主机位置。SPARK_MASTER_PORT:配置集群提交任务端口。至此，Master节点配置完成。解压上传好的spark-2.3.1-bin-hadoop2.6.tgz安装包。tar-zxvf./spark-2.3.1-bin-hadoop2.6.tgz为了方便未来操作，将解压后的目录spark-2.3.1-bin-hadoop2.6名称修改为spark-2.3.1。mvspark-2.3.1-bin-hadoop2.6spark-2.3.114Spark集群搭建3.配置Worker节点同样，编辑/software/spark-2.3.1/conf/spark-env.sh文件，在后面追加如下配置：以上配置中的信息解释如下：SPARK_WORKER_CORES:配置Worker节点所有能支配的核心数，这里的核心数决定这未来在SparkWorker节点上能并行运行的task个数。SPARK_WORKER_MEMORY:配置Worker节点所有能使用的内存大小，内存越大越好，给足Worker内存是保证Spark运行顺利的前提。15Spark集群搭建

除了上面的配置，还需编辑/software/spark-2.3.1/conf/slaves文件，配置将哪些节点指定为Work节点。conf目录下没有slaves文件，只有slaves.template文件，可以复制一份slave.template文件，修改为slaves并编辑：

在slaves文件中添加mynode1,mynode2接待你为Saprk集群中的Worker节点，未来提交到Spark集群中的任务就可以运行在这些Worker节点上。16Spark集群搭建4.分发安装包17Spark集群搭建5.启动集群以上步骤执行完之后，可以启动集群，测试集群是否搭建成功。进入Master节点/software/spark-2.3.1/sbin路径，执行如下命令启动集群：18Spark集群搭建5.验证WEBUI界面Spark集群启动之后，除了验证对应节点上的进程是否存在外，还可以验证Spa