第11讲-Spark的安装与基本应用

第11章Spark的安装与基本应用

Scala编程语言

Spark的安装与基本应用应用程序设计1在安装Spark之前，需要安装一种编程语言环境，即Scala。Spark是用Scala语言实现的，而且主要支持Scala语言进行应用开发(当然也支持其他语言，如Java)。3《大数据技术》1.1编程环境安装--安装Scala下载安装包，本教程安装Spark3.3.2，该版本的Spark建议使用2.12.0以上的Scala。同学们可以从/下载合适的Scala版本将scala-2.12.15.tgz文件复制到Master的“/home/swxy/”执行解压缩命令代码如下：

cd/home/swxy

tar-zxvfscala-2.12.15.tgz1.Scala编程语言4《大数据技术》1.1编程环境安装--安装Scala切换到安装目录“scala-2.12.15”，执行“ls-l”命令，可以看到Scala系统文件目录1.Scala编程语言5《大数据技术》1.1编程环境安装--安装Scala启动并应用Scala，进入“/home/csu/scala-2.12.15/”目录执行bin/scala命令即可启动Scala1.Scala编程语言6《大数据技术》1.1编程环境安装--安装Scalascala>println(“Hello,world”)Hello,worldscala>5*9res1:Int=45scala>2*res1res2:Int=90scala>:help1.Scala编程语言7《大数据技术》1.1编程环境安装--安装ScalaScala的REPL提供了paste模式，可以定义和运行多行代码块，用于粘贴大量的代码。在REPL中输人“:paste”，进人paste模式，即可输入大量的代码，代码编写完成后回车，再通过“Ctrl+D”组合键提交代码并退出paste模式1.Scala编程语言8《大数据技术》1.1编程环境安装--安装ScalaScala的REPL中用“：load文件名”进行装载并执行在“/home/swxy/scala-2.12.15/mycode”目录下创建一个HelloWorld.scala文件来执行代码1.Scala编程语言9《大数据技术》1.1编程环境安装--安装ScalaScala的REPL中用“：load文件名”进行装载并执行在“/home/swxy/scala-2.12.15/mycode”目录下创建一个HelloWorld.scala文件来执行代码1.Scala编程语言10《大数据技术》1.2Scala语言特点

Scala是一种纯面向对象的语言，每一个值都是对象。Scala也是一种函数式语言，支持高阶函数，允许嵌套多层函数。

Scala表达复杂的机器学习算法的能力比其他语言更强且更简单易懂。

Scala运行于Java平台(Java虚拟机)，并兼容现有的Java程序，它也能运行于JavaME、CLDC上。1.Scala编程语言11《大数据技术》2.1安装配置--下载安装包

可以从“/downloads.html”下载最新版本的Spark我们选择spark-3.3.2-bin-hadoop3.tgz下载。由于Spark是一个较为庞大的系统，因此下载时间相对较长；也可以在本教程软件资源目录中找到spark-3.3.2-bin-hadoop2.7.tgz，并将其复制到“/home/swxy/”下2.Spark的安装与基本应用12《大数据技术》2.1安装配置--解压安装包进入“/home/csu/”目录，执行解压命令“tar-zxvfspark-3.3.2-bin-hadoop3.tgz”，系统生成的Spark安装目录为“spark-2.4.0-bin-hadoop2.7”，用户可以进入该目录查看一下Spark的系统文件2.Spark的安装与基本应用13《大数据技术》2.1安装配置--配置环境变量执行“vi/etc/profile”，打开配置文件，配置Spark环境变量，保存并退出后，使用命令“source/etc/profile”重新加载/etc/profile配置文件代码如下：2.Spark的安装与基本应用exportSPARK_HOME=/home/swxy/spark-3.3.2-bin-hadoop3exportPATH=$PATH:$SPARK_HOME/bin14《大数据技术》2.1安装配置--修改模板文件进入Spark安装目录，在/conf目录中存放了spark环境配置和节点配置以及日志配置文件等的模板，在模板文件中有相关的配置项的文字性描述，复制spark-env.sh.template、perties.template、slaves.template，启动spark就会对文件中的配置项进行读取，否则找不到配置2.Spark的安装与基本应用cd/home/swxy/spark-3.3.2-bin-hadoop3/conf//进入spark配置文件夹中cpspark-env.sh.templatespark-env.shcpperties.templatepertiescpworkers.templateworkers15《大数据技术》2.1安装配置--配置spark-env.sh环境变量进入Spark安装目录，执行“viconf/spark-env.sh”命令，输入如下代码(IP为master主机地址，根据具体IP配置)：exportSPARK_MASTER_IP=01exportSPARK_MASTER_PORT=7077exportSPARKWORKERMEMORY=512mexportSPARKWORKERCORES=1exportSPARKEXECUTORMEMORY=512mexportSPARKEXECUTORCORES=1exportSPARKWORKERINSTANCES=1exportJAVA_HOME=/usr/java/jdk1.8.0_231-amd64/jreexportSCALA_HOME=/home/swxy/scala-2.12.15/exportHADOOP_CONF_DIR=/home/swxy/hadoop-3.3.4/etc/hadoop2.Spark的安装与基本应用16《大数据技术》执行“viconf/workers”命令，在编辑区输入如下代码：slave0slave1应根据具体情况输入2.Spark的安装与基本应用2.1安装配置--配置workers文件17《大数据技术》复制spark-defaults.conf.template文件，并重名为spark-defaults.conf，执行“vispark-defaults.conf”命令，代码如下所示：cd/home/swxy/spark-3.3.2-bin-hadoop3/conf//进入spark配置文件夹cpspark-defaults.conf.templatespark-defaults.confvispark-default.conf2.Spark的安装与基本应用2.1安装配置--配置spark-defaults.conf文件18《大数据技术》通过复制Master节点上的Spark，能够大大提高系统部署效率。由于我们这里有slave0和slave1，所以要复制两次。其中一条复制命令是“scp-r/home/swxy/spark-3.3.2-bin-hadoop3root@slave0:/home/swxy”2.Spark的安装与基本应用2.1安装配置--复制Master上的Spak到Slave节点19《大数据技术》启动spark集群之前首先启动Hadoop集群，在Master上，进入Hadoop安装目录，执行“start-all.sh”命令，切换至spark安装目录的sbin目录下，即可启动Spark，代码如下所示：cd/home/swxy/hadoop-3.3.4./sbin/start-dfs.sh./sbin/start-yarn.sh./sbin/mr-jobhistory-daemon.shstarthistoryserverhdfsdfs-mkdir/spark-logscd/home/swxy/spark-3.3.2-bin-hadoop3sbin/start-all.sh2.Spark的安装与基本应用2.1安装配置--启动并验证Spark20《大数据技术》通过Spark提供的Web接口查看系统状态。打开Master(也可以是任何其他节点)上的浏览器，在地址栏输入“http://master:8080”，可看到如图所示的监控界面2.Spark的安装与基本应用2.1安装配置--启动并验证Spark21《大数据技术》运行Spark安装好以后自带的样例程序SparkPi，相当于其他编程语言中的“Hello,World”先查看文件，系统提供了两个jar包：2.Spark的安装与基本应用2.2基本应用22《大数据技术》spark-examples_2.12-3.3.2.jar就是我们需要的jar包，将其复制到Spark安装目录下，这样做是为了直接在该目录下加载这个jar包，避免在命令行中包含过多的路径参数，从而缩短命令，降低输入错误：代码如下：spark-submit--classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modecluster--executor-memory2g--num-executors4--executor-cores1./examples/jars/spark-examples_2.12-3.3.2.jar2.Spark的安装与基本应用2.2基本应用23《大数据技术》查看执行结果，可以点击输出的跟踪URL(trackingURL，在反馈信息中仔细查找)：http://master:8088/proxy/application_1692670628188_0001/2.Spark的安装与基本应用2.2基本应用24《大数据技术》查看执行结果，可以点击输出的跟踪URL(trackingURL，在反馈信息中仔细查找)：http://master:8088/proxy/application_1692670628188_0001/2.Spark的安装与基本应用2.2基本应用25《大数据技术》2.Spark的安装与基本应用2.2基本应用26《大数据技术》2.Spark的安装与基本应用2.2基本应用27《大数据技术》IDEA是一个通用的集成开发环境，Spark通常采用Scala语言进行开发，而IDEA则是最佳的Scala语言开发环境，下载IDEA官网“/idea/download/#section=linux”，选择的IDEA安装文件是ideaIC-2023.2.tar.gz，也可在本教程软件资源目录中找到ideaIC-2023.2.tar.gz3.应用程序设计3.1安装集成开发环境IDEA28《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA29《大数据技术》解压缩安装包：请将ideaIC-2023.2.tar.gz文件复制到Master的“/home/swxy/”目录下，然后执行解压缩命令“tar-zxvfideaIC-2023.2.tar.gz”3.应用程序设计3.1安装集成开发环境IDEA30《大数据技术》启动IDEA：进入“idea-IC-232.8660.185”目录执行“bin/idea.sh”命令可启动IDEA3.应用程序设计3.1安装集成开发环境IDEA31《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA首先出现的是设置对话框，单击“continue”按钮即可32《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA首先出现的是设置对话框，单击“continue”按钮即可33《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA首先出现的是设置对话框，单击“continue”按钮即可34《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA之后出现界面风格设置选项和其他设置，建议读者选择跳过设置，直接进入欢迎界面。35《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA在使用IDEA之前，还需要完成一些必要的配置单击欢迎界面右下方的“Configure”的下拉式列表，在弹出的选项中选择“Setting”，开始对IDEA环境进行设置：36《大数据技术》3.应用程序设计3.1安装集成开发环境IDEA安装Scala插件为了在IDEA中开发Scala程序，需要为IDEA安装Scala插件。新版IDEA对安装插件的方式进行了改变，从以往的下载插件然后手动安装转变为从网络直接