hadoop2伪分布,调试,全布安装及配置详解

1、 Fdm hadoop安装过程版 本： v1 修 订 人： 李斌 批 准 人： 修订日期： 2014-5-19 文档修订历史记录日期版本说明作者2014.5.19 1.0制订李斌目 录1 应用程序部署准备工作41.1 了解服务器环境41.2 准备远程连接工具41.2.1 准备服务器命令执行工具51.2.2 准备服务器远程连接工具82 应用程序部署112.1 安装JDK112.2 安装TOMCAT132.3 部署应用162.3.1 部署方式一162.3.2 部署方式二163 数据库恢复173.1 准备工作173.1.1 了解ORACLE版本173.1.2 准备ORACLE连接工具183.2 数据

2、库恢复191 Hadoop伪分布式安装1.1 环境Ubuntu12Hadoop2.61.2 安装JDK参考下面。1.3 安装openssh参考下面。1.4 相关配置文件1.4.1 Core-site.xml<configuration><property> <name>fs.defaultFS</name> <value>hdfs:/:9000</value></property><property><name>io.file.buffer.size</name&

3、gt;<value>131072</value></property> <property><name>hadoop.tmp.dir</name><value>file:/home/netskill/hadoopTemp</value><description>Abase for other temporary directories.</description></property></configuration>1.4.2 Hdfs-site.xm

4、l<configuration> <property><name>.dir</name><value>file:/home/netskill/hadoop/hadoop-2.6.0/localHDFS/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/netskill/hadoop/hadoop-2.6.

5、0/localHDFS/datanode</value></property><property><name>dfs.replication</name><value>1</value></property> <property><name>dfs.webhdfs.enabled</name>这个配置上，可在网页查看文件。<value>true</value></property></configuration>1.

6、4.3 Mapred-site.xml<configuration><property><name></name><value>yarn</value><final>true</final></property></configuration>1.4.4 yarn-site.xml<configuration> <property> <name>yarn.nodemanager.aux-ser

7、vices</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property><!- resourcemanager hostname或ip地址->

8、<property> <name>yarn.resourcemanager.hostname</name> <value></value></property></configuration>1.4.5 hadoop-env.sh加入 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i3861.4.6 yarn-env.sh加入export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i3861.4.7 Profile加

9、入export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386export JRE_HOME=/usr/lib/jvm/java-7-openjdk-i386/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH1.5 格式化namenode./hdfs namenode -format1.6 启动./start-all.sh1.7 jps验证是否成功执行 jps命令如果看到各个服务都启动，代表成

10、功1.8 打开网站验证:50070/dfshealth.html#tab-overview显示文件系统及总体概述:8088/cluster显示集群情况1.9 疑难解决原因可能是：namenode 和datanode的版本不一致，是由于多次格式化namenode导致的。参考文件 【此文提到 namenode 和datanode的版本不一致】 【注意，hadoop的临时文件存放位置 Hadoop默认的hadoop.tmp.dir的路径为/tmp/hadoop-$】如果没有配置<property><nam

11、e>hadoop.tmp.dir</name><value>file:/home/netskill/hadoopTemp</value><description>Abase for other temporary directories.</description></property>就到上面的路径中找临时文件。我的解决办法是：1、 删掉临时文件；2、 删掉datanode ,namenode重新后，就好用了。（我是系统刚初始化，如果已经有大量文件，可不能轻易删除）2 Hadoop伪分布式调试由于我是java新手，

12、我尝试了好几种方法，都没能成功。最终是使用插件解决的。详情如下。2.1 环境Ubuntu12Jdk1.7Hadoop2.62.2 下载插件下载后扔到eclipse/dropins目录下即可，当然eclipse/plugins也是可以的，前者更为轻便，推荐；重启Eclipse。2.3 配置插件选择插件。这样在下面看到一个新的窗口。选择新建。配置成功后，右上角会一个hadoop的视图。点击，可在左侧看到hdfs的文件系统。点击可直接看到hdfs中的文件。新建一个mapreduce工程，工程建立后，相关的jar包也会直接导入，省了很多事。建完工程后，我直接将hadoop源码中的wordcount复制

13、了过来。在map方法中打一个断点。配置运行参数。指定hdfs的输入文件及输出文件夹路径（这个路径不能存在）。直接调试程序。进入调试窗口，可直接进行跟踪。2.4 查看运行结果3 Hadoop全分布式安装3.1 环境由于hadoop原生的版本是32位的。所以，我用的操作系统，JDK版本都是32位的。因为如果用64位操作系统，还需要对hadoop源码在64位操作系统中再编译。3.1.1 操作系统版本ubuntu-12.04.1-server-i386.iso。用VMWARE作的虚拟机。3.1.2 JDK版本JDK1.7下载地址 请下载 jdk-7u55-linux-i586.tar.gz 3.1.3

14、 HADOOP版本hadoop-2.2.0下载地址 3.2 VMWARE作虚拟机1、 下载vmware并安装；2、 下载Ubuntu：3.3 下载ubuntu桌面版桌面版用于编码，调试。比较方便。下载地址： 我下载的是32位的。3.4 Ubuntu安装vim 、openssh3.4.1 Ubuntu下载下载地址 3.4.2 安装VIM用于文本编辑，系统原带的很不方便。3.4.3 Openssh 的用途1、 用于远程连接。当我们用其它机器连接服务器时。需要安装SSH，如果不安装，就无法连接。2、 HADOOP的伪分布式及分布式情况下。Namenode要访问 slavenode ，但是每次访问不可

15、能都要输入密码，所以要配置ssh的免用户名，密码登录。3、 便于远程连接使用。 安装openssh1、 执行命令 sudo apt-get install openssh-server openssh-client 会自动下载，并安装。2、 检测否安装好 ps -e | grep sshd 450 ? 00:00:00 sshd如果看到sshd那说明ssh-server已经启动了。 如果只有ssh-agent说明ssh-server还没有启动，需要执行命令启动ssh服务：/etc/init.d/ssh start； 验证SSH是否安装成功使用命令 ssh -v看到如

16、上图所示信息，表示安装成功了。可参考文章 3.5 Ubuntu安装JDK3.5.1 检测JDK是否已安装检测是否安装，java -version如果看到如下信息说明JDK已安装如果未安装，使用命令apt-get install openjdk-7-jre-headless需要等一段时间，才能装好。3.5.2 JDK环境变量设置1、 cd etc 进入此目录2、 vi profile 编辑配置文件3、 加入如下配置export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-i386export JRE_HOME=/usr/lib/jvm/java-7-openjdk

17、-i386/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH4、 保存保存后，执行 source profile 刷新配置文件。5、 如果已安装JDK，查看JDK路径再配置。查看JDK的安装路径及版本。whereis java which java3.5.3 JDK安装参考 参考这个文章吧。也可以直接从系统中执行命令进行安装。省得下载再上传。3.6 修改主机名，IP地址映射主机、IP地址映射IP主机名用户名密码192.168.60

18、.136masterrootlibin1980081837slave1rootlibin1980081838slave2rootlibin198008183.6.1 查看IP地址3.6.2 修改主机名3.6.3 Ip，主机地址映射特别提示：要把此文件中的 localhost 去掉，否则，运行的时候map reduce 会显示 0% 3.7 准备3个节点Jdk ，SSH，IP地址映射完成后，可以进行节点复制。这样可节省工作量。将主机master 复制两份，分别命名为slave1 slave2 。3.7.1 一个主节点，二个子节点1

19、、 复制的节点，要修改主机名，其它的不用改。3.8 配置免登录3.8.1 配置master免登录使用命令 ssh-keygen一路回车，密码也输入空的就行了。查看生成的文件id_rsa.pub为公钥，id_rsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下：执行命令 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 生成文件authorized_keys 3.8.2 测试master自身免登录1、 执行命令 ssh master无需输入密码，可直接进入。3.8.3 配置sl

20、ave1免登录 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys3.8.4 测试slave1自身免登录3.8.5 配置 slave2免登录cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys3.8.6 测试slave2自身免登录3.8.7 配置master免登录slave1 slave2为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样当master就可以顺利安全地访问这两个slave结点了。操作过程如下：

21、配置slave 配置slave23.8.8 关闭3台机器的防火墙3.9 安装HADOOP3.9.1 文件上传到master将文件传到/root目录下，如上图所示。3.9.2 解压缩tar xzvf hadoop-2.2.0.tar.gz3.9.3 配置 新建目录，便于后面使用 找到配置文件在目录 /root/hadoop-2.2.0/etc/hadoop 配置hadoop-env.sh修改此文件 找到export JAVA_HOME这一列，后面改成自己的jdk安装目录 配置yarn-env.sh 配置slav

22、es 配置core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs:/master:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>ha

23、doop.tmp.dir</name><value>file:/root/temp</value><description>Abase for other temporary directories.</description></property><property><name>xyuser.hduser.hosts</name><value>*</value></property><property> <nam

24、e>xyuser.hduser.groups</name><value>*</value></property></configuration> 配置hdfs-site.xml<configuration><property><name>node.secondary.http-address</name><value>master:9001</value></property><proper

25、ty><name>.dir</name><value>file:/root/hdfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/root/hdfs/data</value></property><property><name>dfs.replication</name>&l

26、t;value>2</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration> 配置mapred-site.xml<configuration><property><name></name><value>yar

27、n</value><final>true</final></property></configuration> 配置yarn-site.xml<configuration><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.node

28、manager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property><!- resourcemanager hostname或ip地址-><property> <name>yarn.resourcemanager.hostname</name> <value>master</value></property

29、></configuration>3.9.4 格式化3.9.5 启动Hdfs 的启动和 mpareduce 的启动可以分开。3.9.6 启动hdfs3.9.7 启动mapreduce3.9.8 访问测试 28:50070 访问文件系统点击上个页面的 Browse the filesystem 可通过WEB来查看文件系统中的文件。但是会有可能出现打不开的情况。如下图所示：一片空白。仔细观察网址，使用的是一个主机名。有两种解决办法：1、 把slave2 手动改成 38 。但是这个办法很不爽。2

30、、 修改本机的hosts文件。a) 找到hosts文件。我的是win7，在 C:WindowsSystem32driversetc b) 赋于用户对hosts文件修改的权限。c) 加入如下主机名，IP对照36master37slave138slave2这样机器就能自动把主机名解释成IP地址。就能打开了。如下图所示： 28:8088/cluster3.9.9 运行示例程序 创建一个目录 从本地复制一个文件到目录中 运行示例程序 ./hadoop jar /root/hadoop-2.2.0/