Spark开发环境搭建.ppt

Spark开发环境搭建,by球哥,大数据学习网介绍,我们的网址是：我们提供专业的大数据学习视频，包括Hadoop，Spark，Storm，Mahout，机器学习等。我们定价合理，让每个人都学得起大数据。,友情提示,本系列课程主要由Learning.Spark这本书整理而来。本系列课程主要目的，帮助想要学习Spark的同学入门。本系列课程中的ppt可自由传播，无需任何授权，但不要用于商业用途哦。本系列课程中的视频不要自由传播哦，如果同学们觉得课程价格不合理，欢迎在下面的群中反馈，我们会考虑调整价格的。Spark学习交流群：368770186，371896553,Spark开发环境搭建,使用Scala+IntelliJIDEA+Sbt搭建开发环境,搭建开发环境,安装Scalascala下载地址：/download/2.10.3.html本系列课程中，相关软件下载网盘地址(链接：,搭建开发环境,IntelliJIDEA的下载，安装下载地址：,搭建开发环境,IntelliJIDEA常用的设置在IntellJ/bin/idea64.exe.vmoptions(64位，物理内存大，建议增大)，加大IDEA的启动内存：-Xms512m-Xmx1024m-XX:MaxPermSize=512m,搭建开发环境,IntelliJIDEA常用的设置主题和颜色：SettingsIDESettingsAppearanceTheme:Darcula然后把下面overridefont选项勾上，选择Yahei14号字体。编辑器界面字体设置：可以在EditorColors&FontsFonts另存为一个新的主题，并在这个新主题中修改配置。光标所在行背景颜色：EditorColors&FontsGeneralCaretrow，选择蓝色背景，以便具有较大色差。,搭建开发环境,插件安装FileSettingsPlugins，搜索Scala直接安装，安装完后会提示重新启动。这个插件中有scala和sbt。无需再单独下载sbt插件。,搭建开发环境,IntelliJIDEA常用的设置IDEA可以为每个项目指定不同版本的JDK，并且需要开发者手动配置项目的所使用的JDK版本。配置方法如下：单击File|ProjectStructure菜单项，打开ProjectStructure对话框；在左侧列表框中，选择SDKs列表项，进入SDK配置页面；若中间的SDK列表框没有选项，则单击“+”号创建一个JDK列表项；选择JDK列表项，在SDKJDK选项卡页面中，单击JDKhomepath项目的浏览按钮，定位JDK安装路径并保存,搭建开发环境,build.sbt文件使用bt0.13进行编译/导入支持编译成jar包的一些函数(这些函数是sbt-assembly插件中的)importAssemblyKeys._name:=SparkAppversion:=1.0scalaVersion:=2.10.3libraryDependencies+=Seq(/Sparkdependencyorg.apache.spark%spark-core_2.10%1.2.0%provided,net.sf.jopt-simple%jopt-simple%4.3,joda-time%joda-time%2.0),搭建开发环境,/该声明包括assemblyplug-in功能assemblySettings/使用assemblyplug-in配置jarjarNameinassembly:=my-project-assembly.jar/从我们的assemblyJAR中排除Scala,因为Spark已经绑定了ScalaassemblyOptioninassembly:=(assemblyOptioninassembly).value.copy(includeScala=false),搭建开发环境,要使sbt-assembly插件生效，在project/目录下新建一个文件，列出这个插件的依赖。新建project/assembly.sbt增加如下的配置addSbtPlugin(com.eed3si9n%sbt-assembly%0.11.2),搭建开发环境,搭建开发环境常遇到的问题：网络问题，导致sbt插件下载失败，解决方法，找到一个好的网络环境，或者预先从我提供的网盘中下载jar。版本匹配问