任务9.1 部署完全分布式Spark集群

部署完全分布式Spark集群任务描述在使用Spark分析水稻信息数据之前，需要先在平台上部署Spark集群，在本任务中，小数将基于项目2部署的Hadoop集群，进一步部署完全分布式Spark集群。任务环境已部署Hadoop集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1解压Spark下载Spark2修改配置文件3从Spark官网下载Spark安装包“spark-3.1.1-bin-without-hadoop.tgz”。使用Xftp8远程传输工具将Spark安装包传输至master虚拟机/opt/software目录下。下载Spark目录1解压Spark下载Spark2修改配置文件3在master虚拟机解压安装包spark-3.1.1-bin-without-hadoop.tgz至/opt/module目录下。解压操作完成后查看解压目录，结果中能够看到“spark-3.1.1-bin-without-hadoop”，说明文件已解压成功。修改spark-3.1.1-bin-without-hadoop的名称为spark-3.1.1。解压Spark目录1解压Spark下载Spark2修改配置文件3执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件末尾添加Spark环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件在$SPARK_HOME/conf目录下将spark-env.sh.template复制并重命名为spark-env.sh。修改配置文件在Linux中，“$”符号常见的含义如下：变量替换：在“$”符号后跟随变量名，可以用来获取该变量的值。命令替换：使用“$(command)”结构，可以执行括号内的“command”并将输出结果替换到当前位置。参数替换：在脚本或函数中，“$1”~“$9”分别代表脚本或函数的第1个~第9个参数。提示符：在命令行界面中，“$”通常用作普通用户（非root用户）的默认提示符，而“#”用作root用户的提示符。使用“vimspark-env.sh”命令打开spark-env.sh文件并在文件末尾添加配置内容。修改配置文件在$SPARK_HOME/conf目录下将workers.template复制并重命名为workers。打开workers文件，删除文件末行的“localhost”，并在文件中配置Spark集群中的工作节点。修改配置文件目录4启动Spark集群分发Spark至其他节点5验证集群是否部署成功6将在master上配置好的Spark相关配置文件分发给其他节点。分发Spark至其他节点目录4启动Spark集群分发Spark至其他节点5验证集群是否部署成功6在master节点启动Spark集群。启动Spark集群在$SPARK_HOME/sbin目录中，start-all.sh脚本负责启动Spark集群的Master和Worker服务。该脚本允许用户一键启动整个Spark集群，提供了便捷的集群管理功能。然而，需要注意的是，如果在同一台Linux系统上安装了Hadoop和Spark，并且两者都在/etc/profile文件中添加了sbin目录到PATH环境变量，那么由于Hadoop的sbin目录通常会排在Spark之前，直接在命令行中执行“start-all.sh”命令可能会启动Hadoop集群而不是Spark集群。为了避免这种混淆，建议先进入$SPARK_HOME/sbin命令，再执行“start-all.sh”命令启动Spark集群。这样可以确保正确地启动Spark集群，避免对Hadoop集群的误操作。目录4启动Spark集群分发Spark至其他节点5验证集群是否部署成功6使用“jps”命令查看进程，master节点有“Master”进程，slave1和slave2节点有“Worker”进程。验证集群是否部署成功通过浏览器登录“master:8080”端口可查看Spark监控界面。可以看到2个Worker工作节点的信息，工作节点地址分别为31和32，即slave1和slave2。验证集