大数据集群配置过程

大数据集群配置过程—spark篇JDDC_SEED_BIGDATA2015-01-15修改历史修改日期担当者审阅人版本号新增2015-08-26孙云涛V1.01.概述本篇文档主要讲解spark集群的部署过程。如果是基于yarn模式的spark部署，必须在部署spark之前完成Hadoop集群的部署工作，并确保Hadoop可以正常工作。1.1Spark的部置模式整理-standalone模式：即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是sparkonmesos和sparkonYARN的基础。-SparkOnMesos模式：这是很多公司采用的模式，官方推荐这种模式（当然，原因之一是血缘关系）。正是由于Spark开发之初就考虑到支持Mesos，因此，目前而言，Spark运行在Mesos上会比运行在YARN上更加灵活，更加自然。-SparkOnYARN模式：这是一种最有前景的部署模式。但限于YARN自身的发展，目前仅支持粗粒度模式（Coarse-grainedMode）。如之前所述，些种模式下需要部署hadoop集群。总体分析：根据网上的资源的描述，目前来看YARN这种模式，是比较流行的方式。因为YARN拥有强大的社区支持，且逐步已经成为资源管理系统中的标准。本次检证采用的是SparkonYARN这种模式。1.2Spark部置所需要软件由于本次采用的是SparkonYARN这种模式，所以需要的软件如下:软件名称以及版本号软件说明jdk-8u25-linux-i586.rpmHadoop和spark在运行时都需要jdk，而且要求版本是在1.6以上hadoop-2.2.0.tar.gzSpark的作业调度需要依赖hadoop的YARNscala-2.10.4.gzSpark内核是由Scala语言开发的，而且sparkshell是scala的语法。spark-1.0.2-bin-hadoop2.tarSpark部署包，说明：如果采用预编译的方式进spark的布署，还需要安装maven。本次没有采用预编译的方式而是采用包邦定的方式（所以下使用spark-1.0.2-bin-hadoop**.tar这样的安装包），因为预编译的方式部置需要联网，而且速度慢，步骤复杂，但有一个好处-不需要单独安装scala。另外需要注意的是，采用包邦定的方式部署时，要使用与hadoop相兼容的spark版本。2.正文本次spark集群规模以及分布如下:主机IP主机名主机角色操作系统02hadoop02MasterCentos6.501hadoop01workerCentos6.503hadoop03WorkerCentos6.504hadoop04workerCentos6.5JDK安装请参考《大数据集群配置过程_hadoop篇.docx》Hadoop集群安装请参考《大数据集群配置过程_hadoop篇.docx》Scala安装在sparkmastar（hadoop02）节点进行进彳亍scala案装将scala-2.10.4.gz文件放置到/home/hadoop/source/目录下2.执行tar-vxf/home/hadoop/source/scala-2.10.4.gz命令3.执行vi/etc/profile对环境配置文件进行内容追加，追加内容如下exportSCALA_HOME=/home/hadoop/source/scala-2.10.4exportPATH=$PATH:$SCALA_HOME/binexport;5CALA_'-iDHE=/hQne/hadoop/source/scsld-"exportPALH=SPATH:SSCALAHCME/tin2.4Spark安装在sparkmastar(hadoop02)节点进行进彳亍spark案装1.将spark-1.0.2-bin-hadoop2.tar文件放置到/home/hadoop/source/目录下执行tar-vxf/home/hadoop/source/spark-1.0.2-bin-hadoop2.tar命令3.执行vi/etc/profile对环境配置文件进行内容追加，追加内容如下exportSPARK_HOME=/home/hadoop/source/spark-1.0.2-bin-hadoop2exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinexport5P=/hcme/liadoop/s□j.rceZapark-l.Q.2-bi^L-5iadoop2@KpQTtPATH=5PATi5PAJiK_HOME/tin:iSPARK_4OME/sfcin4.执行以下各命令进入到/home/hadoop/source/spark-1.0.2-bin-hadoop2/confcd/home/hadoop/source/spark-1.0.2-bin-hadoop2/conf曹root®hadoop02:./home/hadoop/source/spark-1.0.2-bin-hadoop2/conf[root：@hadQQp02conf]#cd./home/hadoop/source/spark-1・0.2-bin-hadoop2/conf[roQt@hadQQp02conf]#pwd/home/hadoop/source/spark-1.0・2-bin-hadQQp2/conf[root：@hadQQp02conf]#|5.执彳亍cpspark-env.sh.templatespark-env.sh命令，生成一个spark-env.sh文件6.执行vispark-env.sh命令向spark-env.sh文件中追加以下内容exportSCALA_HOME=/home/hadoop/source/scala-2.10.4exportJAVA_HOME=/usr/java/jdk1.8.0_25exportHADOOP_HOME=/home/hadoop/source/hadoop-2.2.0exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexportSPARK_MASTER_IP=hadoop02exportSPARK_WORKER_MEMORY=1gexportSPARK_MASTER_PORT=7077exportSPARK_MASTER_WEBUI_PORT=8080即root®hadoopC2/hom^/hadoop/source/spark-1.0.2-bin-hadoop2/conf一。I回-5PARr(_HZ5T0RY_0P75,tosetconfigpropertiesonly±ozt?ie5iistorvseivei(e.g."-Dx=y"}-5PAR^_DAEMOK_JAVA_OETr5rtoBetconfigpropertiesfoialldaemons(e.g.n)丰-SPAR^_EUBLZC_DKSrtosetpublicdnsnameofthenasteIrorworkEiBexportSCALAHDMZE=7hciittje/hacioop/source/scala-2.10.4exportJAVAHDME=yusi/java/jdkl.5.025exportrlABDDPHOJtE=/?LQiaje/h.a.ciQop/'sci\irce/hadoop-2.2.0exportHADODf2CR=3HAIWX>PHOME/etc/hadoopexportSPAEK_MAS'TF=hado□pOFe^partSEAEK_MASTER_FORT=TQwort5EAEK_MAS'TER_KEMUI_FORT=3050注意：exportSPARK_MASTER_IP=hadoop02中的hadoop02是master节点的主机名。7.执行vislaves命令，向slaves文件中追加以下内容Hadoop01Hadoop03Hadoop042.5环境配置文件以件scala、spark复制执行以下各个命令把master节点(hadoop02)上的/etc/profile文件，以及scala、spark安装包复制到各个worker节点(hadoop01,hadoop03,hadoop04)上。各worker节点的目录结构需要与master节点的一至。scp/etc/profilehadoop01:/etc/profilescp/etc/profilehadoop03:/etc/profilescp/etc/profilehadoop04:/etc/profilescp-r/home/hadoop/source/scala-2.10.4hadoop01:/home/hadoop/source/scp-r/home/hadoop/source/scala-2.10.4hadoop03:/home/hadoop/source/scp-r/home/hadoop/source/scala-2.10.4hadoop04:/home/hadoop/source/scp-r/home/hadoop/source/spark-1.0.2-bin-hadoop2hadoop01:/home/hadoop/source/scp-r/home/hadoop/source/spark-1.0.2-bin-hadoop2hadoop03:/home/hadoop/source/scp-r/home/hadoop/source/spark-1.0.2-bin-hadoop2hadoop04:/home/hadoop/source/由于修改了/etc/profile文件，所以整个集群的所以有节点都需要重启，包括master节点。2.6spark验证1.启动hadoop集群start-all摩root®hadoop02:/home/hadoop/source/'5park-1.0.2-bin-hddoop2/comf[rQQt-@hadQop02conf]#Pjiisscript-isDeprecated.Instead[rQQt-@hadQop02conf]#Pjiisscript-isDeprecated.Insteadnsestart-dfs.btlandstart1S/09/D516:40:18WARN'Jtil.NatIveCodeLoader:UnafcletoloadStartingnaia&nodes:hadoopOS:hadoop04:hadoopOl:startingstartingstartingstartingStartingecandaryan[hadooFOS]namenoderdatanaderdatanaderdatanadef^aiaenadesloggirigloggingloggingloggingtotototo[hadoopOZ]/harKke/riadDOF/so'diee/h/home/haddop/soaxce/h/home/haddop/soaxce/h/honie/haddop/soaxce/hsecondarynaiuenaderloggingto/riane/hadeap15/03/0516;^0;33WARNJtil.NativeCodeLoader:Unafcletoload3ts.rtinjyamdaemons3te.rt.ingreso^rcenianager,loggingto/jiame/nadoop/riadoop/1□gsnadaop03:startingnoderaanagerrloggingto/jianie/nadoop/sojtcnadoopOl:startingnodemanager,,loggingto/TLone/nadoop/soazc5iadoop04:startingnodemanagerrloggingto/rLone/nadoop/soaic[root.@hadoop02conf]#2.启动spark集群start-marster.shstart-slaves.sh说明：spark本身也有start-all.sh这个命令，但由于和hadoop的start-all.sh冲突，所以直接执行start-all.sh无法启动spark集群，如果想要停止spark集群可以执行stop-marster.sh和stop-slaves.sh这两个命令。[root@nadQop02conf]#start-naster.snstartinqr&rg.apacne.spark,deploy.master.Master-,loggingto/nonke/riadoop/source/spark-1.0.2-birL-riadoop^/sbin./../logB/spark-root-oig.ap-ach.e.sps-irk:.deploy,master^Mastei-1-hadoop0".□j.t[root@hadoop02co^if]#start-slaves.shh.acioop^3:startingorg.apache.spaik.-deploy,worker.Workerfloggingto/h-Qine/riadoop/soarce/spaik-1.0.2-k：in-ha.doop"/sbin/../logs/spark-xoqt-arg.apache.spark,deploy.woxkez.'Woxker-l-h.adQQpOS.sub:suarLingoxg.acne.spax]£.-deploy,woxleer.Workerrloggingto/rianie/riadoop/source/spaxk-l.<J.2-fcia-ria.d.0op2/sbin/../logs/spaxk-root-org.apacne.spark,deploy.woikei.Worker-1-jiaidQQpQ4.out;jiadoopOl:aGartingorg.apaGne.spaik.-deploy.worker.Worker,loggingto/jiarae/jiadoop/source/speik-1.0.2-fcin-nadoop2[stin/../logs/sp己:rk:-root-arg.apacne.5匚己rk.deploy.woitei.Worter-1-aadoopOl.o^t[root@nadoop02co^if]#

3.通过jps命令验证线程Marster节点各worker节点4.在marster节点进入到/home/hadoop/source/spark1.0.2binhadoop2/bin/目录，然后执行sparkshell.sh[bin]#pwd/h口me/hm己口口p/source/目park-1..0.[EQQt@hadQop02bin]*1spark:-she111[root@hadoop02bin]#spark-sriell5partaaaeiotl^rias匕已已二lt'JiltwitriHive,ItlcladingDatanucle'jsjaiagclasspathJavajiotSpot;[TM)ServerVMwarTtiTig:Ig^oriTigoptionMaxFeiir.5ize=12am;supportwasremovedin5.015/09/0516:57:33INFOspark.5ecjrityManagei:Changingviewdelst□:root15/09/0516:57:33INFOspark.SecjiitvManagei:EECJiityManageT:a'Jt^Enticationdisatiled-aclsdlBatoled;,jbetbwithviewpez?niBBiorLs:Set[root:)15/09/0516:57：33INFOspark.HttpEerver:StartingHTTPSeiver15/09/0516:57:34INFOserver.Server:jett：v-5..e-SNAPSHOT15/03/0516:57:34INFOsei?ver.AbstractCo^Lnectox:StaxtedSocketCon^Lector@:55936Welcometow_j'27//._vexsia^1.Q.2~一一Uai^igScalaversioTi2.10.^(JavajintSpot[TMJSeiveiVMFJava1.8.0_25)Typeinexpressionstoriavetrierr,已u己laated.Type:nelpformoreinf□rmatioTi.15/03/0516:57：37INFOsperk.SecarityMerLegei:Changingviewdelst□:root15/09/0516:57:37INFOspark.Secarit^Managei:SecjiityManagei:autne^ticationdisatoled;j.1aclsdisatled;aseiswithviewpein.issions:SetCroot)15/09/0516:S7:3SINFOslf4j.Sit4jLogger:Slf4jLoggeistaited15/09/0516:S7:S3INFORemQting:Startingremoting15/09/0516:57：38INFOReranting:REnntingstarted;listeningonaddrEBBEB:[aJcka.tep://spar]c@hadoop02:43006]15/09/0516:57：38INFOReranting:REnntingnawlistensanaddresses:[akka.tep://spark@hadoop02:43006]15/09/0516:57:35INFOspark.SparkEnv:RegisteiingMapDatp'jtTiacker5.执行scala指令6.通web浏览器进入到spark的控制台gSp0r*：iihB<lOflp(l27077%SloialOU&wMewry3OGB"ral0l006UsedgSp0r*：iihB<lOflp(l27077%SloialOU&wMewry3OGB"ral0l006Usedji