Hadoop开发环境搭建(Win8EclipseLinux).docx

Hadoop开发环境搭建（Win8+Linux）常见的Hadoop开发环境架构有以下三种：1、 Eclipse与Hadoop集群在同一台Windows机器上。2、 Eclipse与Hadoop集群在同一台Linux机器上。3、 Eclipse在Windows上，Hadoop集群在远程Linux机器上。点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。第三种架构：Hadoop集群部署在Linux上，保证了稳定性，Eclipse在Windows上，符合大部分开发者的习惯。本文主要介绍第三种Hadoop开发环境架构的搭建方法。Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。搭建步骤：1、 搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）2、 在Windows上安装JDK6+3、 在Windows上安装Eclipse3.3+4、 在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件（如果没有，则需自行编译源码）5、 在Eclipse上配置Map/Reduce Location 搭建Hadoop集群此步骤可参考Hadoop官方文档 在Windows上安装JDK此步骤可参考官方文档 在Window上安装Eclipse此步骤可参考官方文档 在Eclipse上安装hadoop-eclipse-plugin-1.1.2.jar插件Hadoop-1.1.2的发布包里面没有hadoop-eclipse-plugin-1.1.2.jar，开发者必须根据所在的环境自行编译hadoop-eclipse-plugin-1.1.2.jar插件。以下为自行编译hadoop-eclipse-plugin-1.1.2.jar的步骤：1、 安装Ant（参考官方文档）2、 修改$HADOOP_HOME/src/contrib/eclipse-plugin/build.xml文件以下是笔者机器上的build.xml文件，可以以此作为模版，修改相应的节点即可（其中红色部分为需要修改的节点）。 修改完build.xml文件后就可以使用ant来编译了，方法如下：a) 打开cmdb) cd 到$HADOOP_HOME/src/contrib/eclipse-plugin目录c) 在cmd中输入ant，按回车，等待编译结束 如果编译成功，则可在$HADOOP_HOME/build/contrib/eclipse-plugin目录找到hadoop-eclipse-plugin-1.1.2.jar 编译好hadoop-eclipse-plugin-1.1.2.jar后还不能直接使用，还需修改hadoop-eclipse-plugin-1.1.2.jar中的MANIFEST.MF文件的Bundle-ClassPath，改为如下内容：Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-cli-1.2.jar到此为止已经编译好hadoop-eclipse-plugin-1.1.2.jar，把hadoop-eclipse-plugin-1.1.2.jar放到Eclipse的plugins目录下，重启Eclipse，即完成hadoop-eclipse-plugin-1.1.2.jar安装。 在Eclipse上配置Map/Reduce Location1、 指定Windows上的Hadoop安装目录注意：Hadoop可以安装在任何一个目录下。2、 切换到Map/Reduce透视图3、 打开Map/Reduce Locations视图4、 配置Map/Reduce Location（建立与Hadoop集群的连接）在Map/Reduce Locations视图右击，弹出一个选项，选择New Hadoop Location，然后弹出一个窗口。注意上图中的红色标注的地方，是需要我们关注的地方。 Location Name：可以任意其，标识一个Map/Reduce Location Map/Reduce MasterHost：16（Master.Hadoop的IP地址, 与linux集群的mapred-site.xml文件中配置的一样）Port：9001 （与linux集群的mapred-site.xml文件中配置的一样） DFS MasterUse M/R Master host：前面的勾上。（因为我们的NameNode和JobTracker都在一个机器上。）Port：9000（与linux集群的core-site.xml文件中配置的一样）注意：hadoop集群的linux机器必须开9000和9001端口点击finish之后， Map/Reduce Locations视图出现一条信息，就是我们刚才建立的Map/Reduce Location。到此步骤Map/Reduce Location已经配置好，接下来就可以通过Project Explorer视图浏览HDFS了（Linux上的Hadoop集群必须已经启动）注意：hadoop集群的linux机器必须开50010端口，否则不能编辑HDFS文件系统如果上面的配置没有问题，接下来就可以编写MapReduce应用了，以下简单介绍建立和执行MapReduce应用的流程1、 新建MapReduce项目2、 执行MapReduce作业选择Run on Hadoop就可以执行MapReduce作业了。注意：在Windows上执行MapReduce任务时可能会出现以下两个问题：1、ERROR security.UserGroupInformation: PriviledgedActionException as:lenovo cause:java.io.IOException: Failed to set permissions of path: * to 0700Exception in thread main java.io.IOException: Failed to set permissions of path: * to 0700at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)此问题只有在Windows上才存在（权限不够）。解决方案：修改hadoop-core-1.1.2.jar包中的org.apache.hadoop.fs.FileUtil.checkReturnValue方法，把该方法的方法体去掉，编译FileUtil，把编译后的class文件替换掉hadoop-core-1.1.2.jar中的FileUtil.class文件。2、org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission