win下使用eclipse连接hadoop2.6.3.docx

Win7下使用eclipse连接Hadoop2.6.3环境所需要的软件和安装1 安装jdk1.8 配置环境变量后测试/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2 安装eclipse/eclipse/technology/epp/downloads/release/mars/1/eclipse-jee-mars-1-win32-x86_64.zip3 安装ant1.9.6 配置环境变量后测试/apache/ant/binaries/apache-ant-1.9.6-bin.zip4 下载插件源码/winghc/hadoop2x-eclipse-plugin/tree/v2.6.05 下载并解压hadoop2.6.3/releases.html编译插件1 修改perties2 在win7的命令行模式(win+r中输入cmd)下编译插件C:jtoolshadoop2x-eclipse-plugin-2.6.0srccontribeclipse-plugin在此目录下执行ant jar -Dversion=2.6.3 -Declipse.home= C:jtoolseclipse -Dhadoop.home= C:jtoolshadoop-2.6.3命令-Dversion=2.6.3 编译的版本号-Declipse.home= C:jtoolseclipse eclipse的安装目录-Dhadoop.home= C:jtoolshadoop-2.6.3 hadoop的安装目录告诉你编译好的jar文件存放位置将hadoop-eclipse-plugin-2.6.3文件复制到eclipse的plugins文件夹中以上步骤做完就成功安装好插件了配置Eclipse1 打开eclipse修改hadoop的目录显示hadoop的窗口窗口显示后就可以新建hdfs的连接了窗口内右键选择New Hadoop location根据hadoop的配置文件修改其内容窗口里就会显示你配置好的连接设置好后左侧能看到hdfs内的内容测试创建文件夹输入ddd后点OK刷新后发现什么都没有测试上传文件提示报错 好像说我没有权限通过网上和同学们沟通得到的处理方式修hdfs-site.xml文件.在其中增加一个属性 dfs.permissions false 然后重启hdfs服务在下载一个hadoop.dll 2.6.0的压缩文件/s/1Quj1c 共享的百度盘地址解压里面的文件到hadoop的bin目录下将hadoop.dll文件拷贝一份到System32下做完以上步骤之后进行测试通过测试上传2010年的数据上去在刷新后就成功了又出现了一个新问题展开这个的时候报错通过查询是hdfs里面没有输出和输入目录bin/hdfs dfs -mkdir p /user/grid/inputbin/hdfs dfs -mkdir p /user/grid/output创建好默认名字的输入和输出文件就行了运行程序下载了2001年里最后一个154M的包解压并输出成sample.txt文件,在上传至hadoop集群中接下来就利用程序跑这个job了结果运行又出错了通过网上找到处理方式,是把源代码中的NativeIO这个java文件中修改成不检查这下跑完后得出的最小跑完得出的最大运行Exercise_1.java程序输出到outtest2中得到的数据.是通过参数传递的下面修改Test_1.java在run方法中添加这行代码在map方法中添加这行