hadoop入门教程.docx

ubuntu 下 安装配置 hadoop 1.0.4第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，我的环境操作系统：wmv虚拟机中的ubuntu12.04hadoop版本：hadoop-1.0.4(听说是稳定版就下了)eclipse版本：eclipse-jee-indigo-SR2-win321.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是2.安装ssh这个也不用说了2.把hadoop-1.0.4.tar.gz拖到虚拟机中，解压,比如: /home/wys/Documents/hadoop-1.0.4/ (有的还单独建了个用户,为了舍去不必要的麻烦我都是用root用户来操作的)3.修改hadoop-1.0.4/conf 下面的core-site.xml文件，如下： hdfs:/28:9000 hadoop.tmp.dir /home/wys/Documents/tmp28这个是虚拟机中ubuntu的ip,听说用localhost，都不行，我没试过，直接写上ip地址了tmp是预先创建的一个目录4.修改hadoop-env.sh把 export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径5.修改hdfs-site.xml如下： dfs.replication 1 dfs.permissions false 说明：为了以后用eclipse开发出现各种问题，就把权限关了！6.修改mapred-site.xml mapred.job.tracker 28:9001 这里我也用了本机ip7.启动hadoop为了方便启动，我就把hadoop配置到了环境变量(配置完记得重启)：export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24export JRE_HOME=$JAVA_HOME/jreexport PATH=$PATH:$HADOOP_HOME/bin把这个复制到/etc/profile 文件中HADOOP_HOME JAVA_HOME根据实际情况而定！重启之后格式化分布式文件系统：hadoop namenode -format接着启动hadoop：start-all.sh成功后会看到一下信息：starting namenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/h adoop-root-namenode-ubuntu.outlocalhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-datanode-ubuntu.outlocalhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-secondarynamenode-ubuntu.outstarting jobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-jobtracker-ubuntu.outlocalhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-tasktracker-ubuntu.out现在就可以在浏览器中输入地址：28:5003028:50070均可以查看到一些信息假如这个28:50070地址无法访问 是因为 hadoop.tmp.dir 这个没指定文件夹至此hadoop已安装配置完成！Eclipse 连接hadoop开发程序入门前面一遍博文介绍了如何安装配置hadoop地址：/wqs1010/article/details/8486040这里就来介绍一下用eclipse如何连接hadoop开发由于我用的是虚拟机中的系统来做测试，多少有点不正确，还请谅解！1.首先 要下载eclipse hadoop插件我用的是hadoop 1.0.4的版本,这里有个已经做好了的版本下载地址：hadoop-eclipse-plugin-1.0.4.jar下载下来直接把jar文件放到eclipse/plugins/文件夹中,然后重启eclipse2.之后会到看到 如下图：然后设置下右边的hadoop根目录没有的话说明插件没安装成功！3.切换到Map/Reduce视图：下面有个黄色的大象：4.右击新建一个hadoop地址把红框的都填下：Location name : 这个随便写个Map/Reduce host port:这2个是要根据conf/mapred-site.xml这个来定的DFS Master port： 这个是对应你conf/core-site.xml这个文件中这个属性的值右边的Advanced parameters就不用改了！完成后再看工程视图：一步一步展开DFS Locations当出现ConnectException异常时，只要检查下你写的地址跟端口是否跟hadoop配置文件中一样即可！5.连接成功之后类似这个样子：6.新建一个MapReduce Project把hadoop-1.0.4srcexamplesorgapachehadoopexamplesWordCount.java复制到你的工程7.在eclipse里，创建远程目录命名为 wordCount，建完之后刷新就可以看到了8.然后从本地上传一个word.txt文件word.txt内容：java c+ python cjava c+ javascripthelloworld hadoopmapreduce java hadoop hbase当出现node.SafeModeException: 异常，这时就要把hadoop安全模式关闭, 命令：hadoop dfsadmin safemode leave9.上传之后run asWordCount.java 记得带上参数,用空格隔开这个时候会出现Exception in thread main java.io.IOException: Failed to set permissions of path: tmphadoop-wysmapredstagingwys1479426331.staging to 0700 异常，是因为没有权限，网上说替换hadoop-core-xx.jar包中的org.apache.hadoop.fs.Fi