Spark实验报告

1、.spark报告金航1510122526精品.spark实验报告一、 环境搭建1、下载scala2.11.4版本 下载地址为：/download/2.11.4.html2、解压和安装： 解压 ： tar -xvf scala-2.11.4.tgz 安装 ： mv scala-2.11.4 /opt/3、编辑 /.bash_profile文件 增加scala_home环境变量配置，export java_home=/home/spark/opt/java/jdk1.6.0_37export classpath=.:$java_home/jre/li

2、b:$java_home/lib:$java_home/lib/tools.jarexport scala_home=/home/spark/opt/scala-2.11.4export hadoop_home=/home/spark/opt/hadoop-2.6.0path=$path:$home/bin:$java_home/bin:$scala_home/bin立即生效source /.bash_profile4、验证scala：scala -version5、copy到slave机器 scp /.bash_profile spark6:/.bash_profile

3、6、下载spark，wget /spark-1.2.0-bin-hadoop2.4.tgz7、在master主机配置spark ：将下载的spark-1.2.0-bin-hadoop2.4.tgz 解压到 /opt/即/opt/spark-1.2.0-bin-hadoop2.4，配置环境变量spark_home# set java envexport java_home=/home/spark/opt/java/jdk1.6.0_37export classpath=.:$java_home/jre/lib:$java_ho

4、me/lib:$java_home/lib/tools.jarexport scala_home=/home/spark/opt/scala-2.11.4export hadoop_home=/home/spark/opt/hadoop-2.6.0export spark_home=/home/spark/opt/spark-1.2.0-bin-hadoop2.4path=$path:$home/bin:$java_home/bin:$scala_home/bin:$spark_home/bin:$hadoop_home/bin精品.配置完成后使用source命令使配置生效进入 spark c

5、onf目录：sparks1pa11 opt$ cd spark-1.2.0-bin-hadoop2.4/sparks1pa11 spark-1.2.0-bin-hadoop2.4$ lsbin conf data ec2 examples lib license logs notice python readme.md release sbin worksparks1pa11 spark-1.2.0-bin-hadoop2.4$ cd conf/sparks1pa11 conf$ lsfairscheduler.xml.template perties.template

6、slaves.template perties.template slaves spark-defaults.conf.template spark-env.sh.templatefirst ：修改slaves文件，增加两个slave节点s1pa11、s1pa222sparks1pa11 conf$ vi slavess1pa11s1pa222精品.second：配置spark-env.sh首先把spark-env.sh.template copyspark-env.shvispark-env.sh文件 在最下面增加：export java_home=

7、/home/spark/opt/java/jdk1.6.0_37export scala_home=/home/spark/opt/scala-2.11.4export spark_master_ip=7export spark_worker_memory=2gexport hadoop_conf_dir=/home/spark/opt/hadoop-2.6.0/etc/hadoophadoop_conf_dir是hadoop配置文件目录，spark_master_ip主机ip地址，spark_worker_memory是worker使用的最大内存完成配置后，将spark目

8、录copy slave机器 scp -r /opt/spark-1.2.0-bin-hadoop2.4 spark6:/opt/8、启动spark分布式集群并查看信息sparks1pa11 sbin$ ./start-all.sh查看：sparks1pa11 sbin$ jps31233 resourcemanager27201 jps30498 namenode30733 secondarynamenode5648 worker5399 master15888 jobhistoryserver如果hdfs没有启动 精品.，启动起来.查看slave节点：sparks1pa

9、222 scala$ jps20352 bootstrap30737 nodemanager7219 jps30482 datanode29500 bootstrap757 worker9、页面查看集群状况：进去spark集群的web管理页面，访问因为我们 看到两个worker节点，因为master和slave都是worker节点我们进入spark的bin目录，启动spark-shell控制台精品.访问http:/master:4040/，我们可以看到spark webui页面精品.精品.spark集群环境搭建成功了10、运行spark-shell 测试之前我们在/tmp目录上传了一个read

10、me.txt文件，我们现在就用spark读取hdfs中readme.txt文件精品.取得hdfs文件：count下readm.txt文件中文字总数，我们过滤readme.txt包括the单词有多个我们算出来 一共有4个the单词我们通过wc也算出来有4个the单词精品.我们再实现下hadoop wordcount功能：首先对读取的readmefile执行以下命令：其次使用collect命令提交并执行job:我们看下webui界面执行效果：精品.精品.二、 统计单词个数例子,使用spark apiwordcount:步骤1：val sc = new sparkcontext(args(0), “

11、wordcount”,system.getenv(“spark_home”), seq(system.getenv(“spark_test_jar”)val textfile = sc.textfile(args(1)val inputformatclass = classofsequencefileinputformattext,textvar hadooprdd = sc.hadooprdd(conf, inputformatclass, classoftext, classoftext)步骤3：val result = hadooprdd.flatmap精品.case(key, valu

12、e) = value.tostring().split(“s+”);.map(word = (word, 1). reducebykey (_ + _)将产生的rdd数据集保存到hdfs上。可以使用sparkcontext中的saveastextfile哈数将数据集保存到hdfs目录下，默认采用hadoop提供的textoutputformat，每条记录以“(key,value)”的形式打印输出，你也可以采用saveassequencefile函数将数据保存为sequencefile格式等， result.saveassequencefile(args(2)当然，一般我们写spark程序时，需要包含以下两个头文件：import org.apache.spark._import sparkcontext.需要注意的是，指定输