伪分布搭建详细记录.docx

Hadoop2.6.0的为分布式的安装与配置 Hadoop版本号是：2.6.01. 先在虚拟机CentOS系统中装jdk-7检验系统原版本rootlinuxidc # java -versionjava version 1.6.0_24OpenJDK Runtime Environment (IcedTea6 1.11.1) (rhel-1.1.el6-x86_64)OpenJDK 64-Bit Server VM (build 20.0-b12, mixed mode)进一步查看JDK信息：rootlinuxidc # rpm -qa | grep javatzdata-java-2012c-1.el6.noarchjava-1.6.0-openjdk--1.1.el6.x86_64卸载OpenJDK，执行以下操作：rootlinuxidc # rpm -e -nodeps tzdata-java-2012c-1.el6.noarchrootlinuxidc # rpm -e -nodeps java-1.6.0-openjdk--1.1.el6.x86_64安装JDK上传新的jdk-7-linux-x64.rpm软件到/usr/local/执行以下操作：rootlinuxidc local# rpm -ivh jdk-7u75-linux-x64.rpmJDK默认安装在/usr/java中。验证安装，执行以下操作，查看信息是否正常：rootlinuxidc bin# javarootlinuxidc bin# javacrootlinuxidc bin# java -versionjava version 1.7.0（此语句执行后如显示了jdk版本的话说明配置成功，如果没有则需检查profile中路径是否正确）Java(TM) SE Runtime Environment (build 1.7.0-b147)Java HotSpot(TM) 64-Bit Server VM (build 21.0-b17, mixed mode)配置环境变量有的机器安装完jdk-7-linux-x64.rpm后不用配置环境变量也可以正常执行javac、java version操作。但是为了以后的不适之需，这里还是记录一下怎么进行配置，操作如下：vi + /etc/profile(linux vi 编辑器下经常会用到保存退出与不保存退出这两个操作.linux vi 保存退出 操作：esc键，输入:wqlinux vi 不保存退出 操作：esc键，键入:q!)向文件里面追加以下内容：JAVA_HOME=/usr/java/jdk1.7.0_75JRE_HOME=/usr/java/jdk1.7.0_75/jrePATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport JAVA_HOME JRE_HOME PATH CLASSPATH使修改生效rootlinuxidc local# source /etc/profile /使修改立即生效rootlinuxidc local# echo $PATH /查看PATH值退到用户的家目录下，查看系统环境状态rootlinuxidc # echo $PATHjdk的安装配置到此结束。2. 配置ssh，实现本地无密码登陆localhosta) 切换目录到root根目录下：命令：cd b) 在root根目录下，命令：ssh-keygen -t rsa -P 产生密钥对这条命是生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在/root/.ssh目录下。c) 接着在Master节点上做如下配置，把id_rsa.pub追加到授权的key里面去。命令：cat /.ssh/id_rsa.pub /.ssh/authorized_keysd) 修改文件authorized_keys命令：chmod 600 /.ssh/authorized_keyse) 成功检验：ssh localhost （看是否需要输入密码，不需要说明设置成功，反之不成功）3. 安装Hadoop2.6.03.1 解压hadoop-2.6.0.tar.gz(a)将hadoop X.X.X.tar.gz复制到usr下面mv ./hadoop-2.6.0.tar.gz /usr(b) 进入到usr目录下，解压hadoop-2.6.0.tar.gztar -xzvf hadoop-2.6.0.tar.gz解压后会在/usr/目录下产生文件夹hadoop-2.6.0 。.1.3.2. 配置hadoop文件注（我们都是在root用户下去搭建hadoop）进入到hadoop-2.6.0的目录下，profile中配置hadoop/etc/profileexport HADOOP_HOME=/usr/hadoop-2.6.0export PATH=$HADOOP_HOME/bin:$PATHexport HADOOP_LOG_DIR=$HADOOP_HOME/logssource /etc/profile 生效。这里要涉及到的配置文件有7个：usr/hadoop-2.6.0/etc/hadoop/hadoop-env.shusr/hadoop-2.6.0/etc/hadoop/yarn-env.shusr/hadoop-2.6.0/etc/hadoop/slavesusr/hadoop-2.6.0/etc/hadoop/core-site.xmlusr/hadoop-2.6.0/etc/hadoop/hdfs-site.xmlusr/hadoop-2.6.0/etc/hadoop/mapred-site.xmlusr/hadoop-2.6.0/etc/hadoop/yarn-site.xml目录开始切换到/usr/hadoop-2.6.0/etc/hadoop（hadoop安装目录）3.2.1. 配置文件1：hadoop-env.sh修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_75）命令：hadoopmaster hadoop$ vi hadoop-env.sh保存退出！3.2.2. 配置文件2：yarn-env.sh修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_75）命令：hadoopmaster hadoop$ vi yarn-env.sh3.2.3. 配置文件3：slaves （这个文件里面保存所有slave节点，我们是一台主机，就填一个本地ip：localhost）hadoopmaster hadoop$ vi slaves写入以下内容：localhost 3.2.4. 配置文件4 core-site.xmletc/hadoop/hdfs:/localhost:9000hadoop.tmp.dir/usr /hadoop/tmp3.2.5. 配置文件5 hdfs-site.xmletc/hadoop/.dir/usr /hadoop/hdfs/namenamenode存储路径dfs.data.dir/usr /hadoop/hdfs/datadatanode存储路径dfs.replication13.2.6 配置文件6 mapred-site.xmletc/hadoop/mapred-site.xmlmapred.job.trackerhdfs:/localhost:9001mapred.local.dir/usr /hadoop/mapred/local存储mapred自己使用的路径mapred.system.dir/usr/hadoop/mapred/system存储mapred系统级别的路径，可以共享3.2.7配置文件7 yarnyarn.nodemanager.aux-servicesmapreduce_shuffle四. 格式化namenode (首次运行前必需的) （a）保证此时在hadoop的解压目录下，如不在，请先进入此目录。 （b）格式化namenode 命令：bin/hadoop namenode format关闭防火墙：service iptables stop五.运行测试（1）启动hadoop 命令：bin/start-all.sh（2）验证hadoop是否正常启动命令：jps此语句执行后会列出已启动的东西NameNode，JobTracker等。如果NameNode没有成功启动的话就要先执行bin/stop-all.sh停掉所有东西，然后重新格式化namenode，再启动。Hadoop的datanode一直没起来，Hadoop根本就没有正常启动，正常启动的话！5个关键的进程都应该会显示，包括namenode，secondary namenode，datanode，jobtracker，tasktracker。（3）跑WorldCount验证程序 a、准备需要进行wordcount的文件 vi /tmp/test/wordcount1.txt(打开后随便输入一些内容，然后保存退出） b、将准备的测试文件上传到dfs文件系统中的wordcounttest目录下hadoop dfs -copyFromLocal /tmp/test/wordcount1.txt wordcounttest 罗师兄说用这个：hadoop fs -put /tmp/test/wordcount1.txt wordcounttest2（注：如dfs中不包含wordcounttest目录的话就会自动创建一个，关于查看dfs文件系统中已有目录的指令为hadoop dfs -ls)出现下面错误：15/03/31 13:52:48 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /user/root/wordcounttest could only be replicated to 0 nodes, instead of 1说明从本地上传文件到HDFS没有成功！c、执行wordcounthadoop jar hadoop-examples-1.2.1.jar wordcount wordcounttest result（注：此语句意为“对wordcounttestt下的所有文件执行wordcount，将统计结果输出到result文件夹中”，若result文件夹不存在则会自动创建一个）实际操作时出现下面的错误：15/03/31 14:15:00 ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.JobTrackerNotYetInitializedException: JobTracker is not yet RUNNING但是用jps命令查看运行的进程，发现JobTracker是运行的，如下图：d、查看结果hadoop dfs -cat result/part-r-00000（注：结果文件默认是输出到一个名为“part-r-*”的文件中的，可用指令 “hadoop dfs -ls result”查看result目录下包含哪些文件）实际操作后发现如下错误：结果文件根本就不存在，说明示例程序根本就没有运行！但是，50070和50030的web界面都可以打开六、解决方法：查看logs目录下的datanode日志（这是个好方法！），发现有下面的错误SHUTDOWN_MSG: Shutting down DataNode at .UnknownHostException百度之， 找到下面两篇博客：