spark源码编译环境

首先，为了解决每次工程运行前都要编译整个工程的问题，请将 settings 的 compiler 菜单 做如下修改： 解决方案： 在 project struture 里面的 library 添加 from maven 查找 spark-streaming-flume-sink_2.10 最新 的包并添加到相应的模块中。 按照上面的方法添加 spark-streaming-flume _2.10 的最新的包。 接下来会报一堆关于 hive 的错误 然后将 hive 关闭 然后 example 里面相关的会报错，将其删除 然后编译成功！ 然后运行 wordcount 的例子，会报错 在 Modules 中的 spark-example-2.10 中的 dependecies 中把所有依赖的 scope 是 provided 和 runtime 的全部改成 compiled。Text 的不要改。 接下来会报这个错误 点击 edit configuration，在左侧点击该项目。在右侧 VM options 中输入“- Dspark.master=local”，指示本程序本地单线程运行，再次运行即可。 Spark 2.2.0 的编译步骤： 1、 下载源码 2、 修改 SCALA SDK 为 2.11.8，可以通过直接外部下载 SCALA，在本地解压，然后再配置 3、 在 project struture 里面的 library 添加 from maven 查找： spark-streaming-flume-sink_2.11:2.1.0, 添加到：spark-streaming-flume-sink 工程 spark-streaming-flume _2.11:2.1.0，添加到：spark-streaming-flume 工程 org.apache.spark:spark-catalyst_2.11:2.1.0，添加到：spark-catalyst_2.11 工程和 spark- sql_2.11 中 4、 修改 spark-sql_2.11 工程中的 SparkSqlParser 类： 注释掉： / override def visitShowTable(ctx: ShowTableContext): LogicalPlan = withOrigin(ctx) / if (ctx.partitionSpec != null) / operationNotAllowed(“SHOW TABLE EXTENDED . PARTITION“, ctx) / / / ShowTablesCommand( / Option(ctx.db).map(_.getText), / Option(ctx.pattern).map(string), / isExtended = true) / 修改为： protected def visitShowTable(ctx: ShowTablesContext): LogicalPlan = withOrigin(ctx) / if (ctx.partitionSpec != null) / operationNotAllowed(“SHOW TABLE EXTENDED . PARTITION“, ctx) / ShowTablesCommand( Option(ctx.db).map(_.getText), Option(ctx.pattern).map(string), isExtended = true) 5、 找到 spark-core 中的 org.apache.spark.pack