Hadoop开发环境搭建(Win8+Eclipse+Linux)

1、Hadoop开发环境搭建(Win8+Linux)常见的Hadoop开发环境架构有以下三种：1、Eclipse与Hadoop集群在同一台Windows机器上。2、Eclipse与Hadoop集群在同一台Linux机器上。3、Eclipse在Windows上，Hadoop集群在远程Linux机器上。点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。第三种架构：Had

2、oop集群部署在Linux上，保证了稳定性，Eclipse在Windows上，符合大部分开发者的习惯。本文主要介绍第三种Hadoop开发环境架构的搭建方法。Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建(如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业)。搭建步骤：1、搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）2、在Windows上安装JDK6+3、在Windows上安装Eclipse3.3+4、在Eclipse上

3、安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行编译源码）5、在Eclipse上配置Map/ReduceLocation搭建Hadoop集群此步骤可参考Hadoop官方文档在Windows上安装JDK此步骤可参考官方文档在Window上安装Eclipse此步骤可参考官方文档在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件Hadoop-1.1.2的发布包里面没有hadoop-eclipse-plugin-1.1.2.jar，开发者必须根据所在的环境自行编译hadoop-eclipse-plugin-1.1.2.ja

4、r插件。以下为自行编译hadoop-eclipse-plugin-1.1.2.jar的步骤：1、安装Ant（参考官方文档）2、修改$HADOOP_HOME/src/contrib/eclipse-plugin/build.xml文件以下是笔者机器上的build.xml文件，可以以此作为模版，修改相应的节点即可（其中红色部分为需要修改的节点）。修改完build.xml文件后就可以使用ant来编译了，方法如下：a)打开cmdcd至U$HADOOP_HOME/src/contrib/eclipse-plugin目录在cmd中输入ant,按回车，等待编译结束如果编译成功，则可在$HADOOP_HOME

5、/build/contrib/eclipse-plugin目录找至hadoop-eclipse-plugin-1.1.2.jar编译好hadoop-eclipse-plugin-1.1.2.jar后还不能直接使用，还需修改hadoop-eclipse-plugin-1.1.2.jar中的MANIFEST.MF文件的Bundle-ClassPath，改为如下内容：Bundle-ClassPath:classes/,lib/hadoop-core.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/comm

6、ons-configuration-1.6.jar,lib/commons-lang-2.4.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-cli-1.2.jar到此为止已经编译好hadoop-eclipse-plugin-1.1.2.jar，把hadoop-eclipse-plugin-1.1.2.jar放到Eclipse的plugins目录下,重启Eclipse，即完成hadoop-eclipse-plugin-1.1.2.jar安装。在Eclipse上配置Map/ReduceLocation1、指定Windows上的Hadoop安装目录

7、Preferencestypefiltertext-GeneralAntWOE匚口reTooleDiagramEMF匚ampareFatJarPreferenceHad口upMap/R-educeHadoopMap/RedijceHadoopinstallationdirectory:D:cygi.Min54homelenavo)isdoop-1.1.2Browse.:HelpInEtll/UpdaEe:-JavaMauenModelVBlidetionLJiiihm注意：Hadoop可以安装在任何一个目录下。22甘滞MapReduce滋吉函Openpm5ped:iveEcoreFindEug

8、s.-即GrtREPDSifDQEKP-crring&Ja蛊defau-kj?2蛊BrclE匹ng-yFa-imType工iermlxh宀lMapeQ_lKep-mn=.ng?Fcg.亍Deve-clpmenr-l-18Py口m-vUCNBhSNR.qipo“hcjryExpo工ngfr1szR-epomircIryExporingMrTe-amgwchronNing凶XMLOKcmnce-?E一总記=置一-SG-匹*?唾/寒fr-,.IG=Anti，P=*?APIToolsi?CDO耳CVSlfe?DebuglEMFCctmpare-tFindBugsl&GitHelpt-Ve3t匕？Jav

9、aBrowsinglzMapReduce-Tools匸产Map/ReduceLocationsMevenMylynNefjNeMjebugPlug-inDevelopmentPyDevSVNSVNTearnXML4、配置Map/ReduceLocation（建立与Hadoop集群的连接）在Map/ReduceLocations视图右击，弹出一个选项，选择NewHadoopLocation,然后弹出一个窗口。Map/ReduceMaster團NewHdoc-plaitbn._DefineHadooplocation!B-adlocati-DnrKame:thekscationnameshould

10、notcorrtainanycharacterprahbrtedinaFiename.GemeraIAdvarvcedparametersLocQilitainname;HostbctlboflpQrti50020PortM040Usern*rre：hado&p1QB0LoadfromfileValidatelocationDFSMasterI7UseM/RMasterhostHotloolhosl$OC吕1nput(2)1?冷output4(2)&rirhie.har(4)卜?hadoop-practice;hadoop-practiced注意：hadoop集群的linux机器必须开5001

11、0端口，否则不能编辑HDFS文件系统如果上面的配置没有问题，接下来就可以编写MapReduce应用了，以下简单介绍建立和执行MapReduce应用的流程1、新建MapReduce项目j出srcj审prsctice.hadoop-Jpackage-info.javajWordCount.javajjWordMappe-r.java卜jjWordReducer.javapSA旺SystemLibraryjre&t遏xml&nr-0.5Z.jar-D:cygwin64-hom&lendvohador鬲slf+|-lQg4j12-1.4.3.jar-D;cygwin64.homelenovc1|t?H

12、slf4j-api-1.4.3.jar-D:cygwin54hmelenovohad3toioE&rvlet-api-2.5-2OO31211.jar-D:c-ginc4liome_J:IIMIIMIIIIEII2、执行MapReduce作业j:iJL；IPrnjr-LGxploo-BrK:.MDPSLocationshadoop-praaice用hadoop-practicedEF庄practi匚e.hisd口口pJjcifdCount.jai“IS-QVJordReducer,f：KgJRESystemLibraryjrb卜區frl區-wNewOpe-nTypeHiera-diyShowI

13、nOpenOpenWith百|匚叩yQualifiedNamePeKmlenc-D.52.jar=D:c.slf4j-Irig4jl2-1.4.3.jacTslf4j-api-1i43ijar-环,ervlft-api-2a5-20O&lDgjunrt-4.5;s-r:ryjgw卜jsch-O.liS.jar-D:cylkjetty-udl-fi.1.26.j3r-J醫jetty-ftliZ&jjarD:LyjetElt-0,6.1jarD;Xcyjersey-server-1jarje-rsey-jsan-1.B.iarjene-cdte-1.-Bjar-RemovefromConfeext

14、BuildPathSaurceR-E-FactwAlH群卜F3tri十匚Ctrl4-VDelCtrl4-AJIL-I-Shift+-DownAlt+-Shrfi+S卜Alt+5hift+T卜lII-rwbgI*-甌jdeio-0.8寸hit-EVcygJk施jaap&r-runtime-5i5.12k硬jasperERRORsecurity.UserGroupInformation:PriviledgedActionExceptionas:lenovocause:java.io.IOException:Failedtosetpermissionsofpath:*to0700Exceptioni

15、nthreadmainjava.io.IOException:Failedtosetpermissionsofpath:*to0700atorg.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)此问题只有在Windows上才存在(权限不够)。解决方案：修改hadoop-core-1.1.2.jar包中的org.apache.hadoop.fs.FileUtil.checkReturnValue方法，把该方法的方法体去掉，编译FileUtil，把编译后的class文件替换掉hadoop-core-1.1.2.jar中的FileUtil.class文件。denied:2、org.apache.hadoop.security.Acces