Hadoop安装部署.doc

1、文章内容来自Java私塾2013-12-27（Java私塾）Hadoop安装部署本节课程概览Hadoop 在windows 上伪分布式的安装过程Hadoop 在linux 上单节点伪分布式的安装过程集成Eclipse 开发环境Hadoop UI 介绍运行WordCounter 事例第一部分：Hadoop 在windows 上伪分布式的安装过程安装JDK1.下载JDK /technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html2.解压 或者直接运行.ex

2、e安装后面根据项目的实际需要来进行调整。安装Cygwin1.下载Cygwin 网址：/setup.exe2.安装Cygwin1. Net Category 下的OpenSSL2. Base Category 下的sed3.Editors Category 下的vim4.Devel Category 下subversion后面根据项目的实际需要来进行调整。配置环境变量1.配置JAVA 环境变量 PATH 和JAVA_HOME： JAVA_HOME 指向JDK安装目录； PATH 指向JDK的bin启动SSHD服务1.安装SSHD ssh-host-conf

3、ig2. 启动SSHD netstartsshdssh的安装和配置实现ssh无密码登陆$ssh-keygen-trsa直接回车，完成后会在/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys$cat/.ssh/id_rsa.pub/.ssh/authorized_keys完成后可以实现无密码登录本机安装Hadoop1.下载Hadoop /apache-mirror/hadoop/common/hadoop-1.0.0/2.解压

4、Hadoop tar xzvf hadoop-0.21.0.tar.gz配置Hadoop1. 配置hadoop-env.sh2 .配置conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml文件概念HDFS: NameNode ：管理节点 DataNode ：数据节点 SecondaryNamenode : 数据源信息备份整理节点MapReduce JobTracker ：任务管理节点 Tasktracker ：任务运行节点配置文件 core-site.xml common属性配置 hdfs-site.xml HDFS属性配置 map

5、red-site.xml MapReduce属性配置 hadoop-env.sh hadooop 环境变量配置修改hadoop-env.sh配置JDK即可export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25core-site.xmljava代码：查看复制到剪贴板打印1. 2. 3. 4. hdfs:/localhost:90005. 6. 7. hadoop.tmp.dir8. /hadoop9. 10. hdfs-site.xmljava代码：查看复制到剪贴板打印1. 2. 3. dfs.replication4. 15.

6、6. mapred-site.xmljava代码：查看复制到剪贴板打印1. 2. 3. mapred.job.tracker4. localhost:90015. 6. 启动Hadoop1.格式化文件系统 hadoop namenode format2. 启动hadoop 启动所有任务start-all.sh/stop-all.sh 启动关闭HDFS: start-dfs.sh/stop-dfs.sh 启动关闭MapReduce: start-mapred.sh/stop-mapred.sh 3. 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,Task

7、Tracker第二部分：Hadoop 在linux 上单节点伪分布式的安装过程安装JDK$chmod +x jdk-6u27-linux-i586.bin$./jdk-6u27-linux-i586.bin安装完后设置java 环境变量如下命令 ：/home路径下$vi .bashrc然后添加如下语句export JAVA_HOME=/home/test/ jdk1.6.0_27export PATH =/bin:$JAVA_HOME/bin:/usr/bin:$PATH:.然后. .bashrc使其生效ssh的安装和配置$实现ssh无密码登陆$sudo apt-get install ssh

8、$ssh-keygen直接回车，完成后会在/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys$cat/.ssh/id_rsa.pub/.ssh/authorized_keys完成后可以实现无密码登录本机Hadoop安装1.下载Hadoop /apache-mirror/hadoop/common/hadoop-1.0.0/2.解压Hadoop tar xzvf hadoop-0.21.0.tar.gz3. 添加Hadoop

9、Bin到环境变量中修改hadoop-env.sh配置JDK即可export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_25conf/core-site.xmljava代码：查看复制到剪贴板打印1. 2. 3. 4. hdfs:/localhost:90005. 6. 7. hadoop.tmp.dir8. /hadoop9. 10. conf/hdfs-site.xmljava代码：查看复制到剪贴板打印1. 2. 3. dfs.replication4. 15. 6. conf/mapred-site.xmljava代码：查看复制到剪

10、贴板打印1. 2. 3. mapred.job.tracker4. localhost:90015. 6. 启动Hadoop1.格式化文件系统 hadoop namenode format2. 启动hadoop 启动关闭所有服务 start-all.sh/stop-all.sh 启动关闭HDFS: start-dfs.sh/stop-dfs.sh 启动关闭MapReduce: start-mapred.sh/stop-mapred.sh3. 用jps命令查看进程,确保有 namenode,dataNode,JobTracker,TaskTracker第三部分：Hadoop UI 介绍Hadoo

11、p重要的端口1.Job Tracker 管理界面：500302.HDFS 管理界面 ：500703.HDFS通信端口：90004.MapReduce通信端口：9001常用访问页面1. HDFS 界面 http:/hostname:500702. MapReduce 管理界面 http:/hostname:50030第四部分：运行Word Count 示例相关步骤及命令1.先在本地磁盘上建立两个文件file1和file2 $ echo ”Hello world Bye world /input/file1 $ echo ”hello hadoop bye hadoop” /input/file2

12、2.在HDFS上建立一个input目录 $ hadoop fs -mkdir /tmp/input3.将file1和file2拷贝到hdfs的input目录下 $ hadoop fs -put input/* /tmp/input4.检查hdfs上有没有file1,file2 $ hadoop fs -ls /tmp/input5.执行wordcount hadoop jar hadoop-examples-1.0.0.jar wordcount /tmp/input /tmp/output6.运行完成，查看结果 hadoop fs -cat /output/part-r-00000第五部分：集成 Eclipse 开发环境通过Eclipse编写Hadoop程序1.导入hadoop-core.jar及hadoop/lib下所有Jar包2.加入Hadoop配置文件，包括