老师提供的hadoopspark eclipse开发环境设置

1.11.1HadoopLinux系统：CentOS6.01.2Windows1.2WindowsJava版本：jdk-6u31-windows-i586.exeWin系统：Windows7旗舰版Eclipse软件：eclipse-jee-indigo-SR1-win32.zip|eclipse-jee-helios-SR2-HadoopEclipse插件：hadoop-eclipse-plugin-1.0.0.jar地址：2.0"是根据"V1.0"按照"FAQ_1"改的之外，剩余的"V3.0"、"V4.0"和"V5.0"2、2、HadoopEclipse2.12.1EclipseHadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理。但是编写、调试Hadoop程序都有很度。正因为如此，Hadoop的开发者开发出了HadoopEclipseHadoopEclipse，从而实现了开发环境的图形Hadoop的相关信息之后，如果用户创建HadoopHadoopJAR文件，这样用户就可以在Eclipse的图形化界面中编写、调试、运行Hadoop程序（包括单机程序和分布式程2.2Hadoop工 简HDFS以及文件。总地来说，HadoopEclipse插件安装简单，使用方便，功能强大，尤其是在Hadoop编程方面，是2.2Hadoop工 简 中，JDK安装除外，我这里把JDK安装在C盘的默认安装路径下，下面是我的工作 |---|---hadoop-|---work 把Eclipse和Hadoop解压到"E:\HadoopWorkt"下面，并创建"workce"作为Eclipse的工作空间。2.32.3EclipseHadoopHDFS上的文件能进行修改和删除，所以修改你工作时所用的Win7系统管理员名字，默认一般为"Administrator"，把它修改为"hadoop"Hadoop集群普通用户一致，Hadoop集群中所有的机器都有一个普通用户——hadoop，而且Hadoop运行也是用这个用户进行的。为了不至于为权限苦恼，我们可以修改Win7上系统管理员的，这样就避免出现该用户在Hadoop集群上没有权限等都疼问题，会导致Eclipse中对HadoopHDFS创建和删除文件受影响。你可以做一下实验，查看Master.Hadoop机器上"/usr/hadoop/logs"志。发现权限不够，不能进行"Write"Hadoop1.0不起作用，详情见"FAQ_2"。下面我们进行修改管理员名字。2.4Eclipse插件开发配2.4Eclipse插件开发配第一步：把我们的"hadoop-eclipse-plugin-1.0.0.jar"放到Eclipse |---|---上面是我的"hadoop-eclipse-plugin"插件放置的地方。重启Eclipse如下图细心的你从上图中左侧"ProjectExplorer"下面发现"DFSLocations"，说明EclipseHadoopEclipse插件了。侧，有一列选项，里面会多出"HadoopMap/Reduce"选项，点击此选项，选择Hadoop的安装 （如我的Hadoop 选择"Window"菜单下选择"Open"，弹出一个窗体，从中选择在Eclipse软件的右上角，点击图标""中的""，点击 第四步HadoopEclipse软件下面的"Map/ReduceLocations"进行右击，弹出一个选项，选择"NewHadoopLocation"，然后弹出一LocationName：可以任意其，标识一个"Map/ReduceMap/ReduceMasterHost：（Master.Hadoop的IP地址）DFShadoop。）备注：这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。不清楚的可以参考"Hadoop集群_5期_Hadoop安装配置_V1.0"接着点击"Advancedparameters"从中找见"hadoop.tmp.dir"，修改成为我们Hadoop集群中设置的地址，我们的Hadoop集群是"/usr/hadoop/tmp"，这个参数点击"finish"Eclipse软件下面的"Map/ReduceLocations"出现一条信息，就是我们刚才建立的"Map/ReduceLocation"。第五步HDFS文件系统，并尝试建立文件夹和上传文件。点击Eclipse软件左侧的"DFSLocations"下面的"Win7ToHadoop"HDFS上的文件结构。用SecureCRT登录"Master.Hadoop"服务器，用下面命令查看是否已经建立一hadoopfs-HadoopEclipse开发环境已经配置完毕，不尽兴的同学可以上传HDFS分布式文件上，可以互相对比意见文件是否已经上传成功。3.13.1Eclipse如果电脑上不仅仅安装的JDK6.0EclipseJDK是否"Java"，选择"InstalledJREs"JDK6.0JRE。3.23.2Eclipse的编UTF-3.33.3创建MapReduce项接着，填写MapReduce工程的名字为"WordCountProject"，点击"finish"完成MapReduceEclipse软件的左侧多3.43.4WordCount因为我们直接用Hadoop1.0.0自带的WordCount程序，所以报名需要和代码中的|---|---|---|---|--- 才建立的java文件中。当然源码有些变动，变动的红色已经标记出。1package23import4import56import7import8import9importimportimportimportimportimportimportpublic WordCountpublicstatic extendsMapper<Object,Text,Text, finalstaticIntWritableone=new Textword=new voidmap(Objectkey,Textvalue,Context)throwsIOException,StringTokenizeritr=newwhile(itr.hasMoreTokens())context.write(word, }}publicstatic extendsReducer<Text,IntWritable,Text,IntWritable> IntWritableresult=new voidreduce(Textkey,Context)throwsIOException, sum= (IntWritableval:values)sum+=}context.write(key,}}publicstatic main(String[]args)throwsExceptionConfigurationconf=newconf.set("mapred.job.tracker",String[]ars=newString[]otherArgs=newGenericOptionsParser(conf, (otherArgs.length!=2)System.err.println("Usage: }Jobjob=newJob(conf,"wordFileInputFormat.addInputPath(job,newFileOutputFormat.setOutputPath(job,new pletion(true)?0:}}"Map/ReduceLocation"其中的配置不是完全起作用，而是在本地的磁盘上建立了文EclipseHadoop集群上，所以我Job运行地址。详细参考"常见问题FAQ_3"。3.53.5WordCount选择"Wordcount.java"程序，右击一次按照"RunAS→RunonHadoop"运行。然3.63.6WordCount运行结Eclipse软件左侧，右击"DFSHDFS上的那个重到此为止，Eclipse开发环境设置已经完毕，并且成功运行Wordcount程序，下一Hadoop之旅。4.14.1errorfailuretologin"问Jar包。具体情况如下在我实践尝试中，发现hadoop-版本的该包如果直接到eclipse的 中，在连接DFS时会出现错误，提示信息为："error:failuretologin"。弹出的错误提示框内容为"Aninternalerroroccurredduring:"ConnectingtoDFS mons/configuration/Configuration".经过察看Eclipse的log，发现是缺少jar包导致的。进一步查找资料后，发现直接hadoop-eclipse-plugin-.jar，该包中lib 下缺少了jar包。commons-cli-1.2.jarhadoop-core.jar两个包。将hadoop/libcommons-http-3.0.1.jarcommons-lang-2.4.jar一共5个包到hadoop-eclipse-plugin-.jar的lib 然后，修改该包META-INF 下的MANIFEST.MF，将classpath修改为一下 这样就完成了对hadoop-eclipse-plugin-.jar4.2Permissiondenied"4.2Permissiondenied"问网上试了很多，有提到"hadoopfs-od777/user/hadoop"，有提到"dfs.permissionsvaluefalse"，有提到"hadoop.job.ugi"，但

org.apache.hadoop.security.AccessControlExceptionPermissiondenied:user=*********,access=WRITE,

4.34.3Failedtosetpermissionsofpath"ERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:hadoopcause:java.io.IOExceptionFailedtosetpermissionsof \.stagingto0700Exceptioninthread"main"java.io.IOException:Failedtosetpermissionsofpath:\usr\hadoop\tmp \.stagingtoConfigurationconf=new4.4"hadoopmapred执 文件权"限问4.4"hadoopmapred执 文件权"限问jobSubmissionfailedwithexception'java.io.IOException(Theownership/permissionsont