RedHat安装Hadoop(1.2.1)集群.docx

RedHat安装Hadoop集群RedHat安装Hadoop集群操作系统：Red Hat Enterprise Linux Server release 5.8-x86_64软件版本：hadoop-1.2.1基本条件：Master（ameode）42Slave01（DateNode）40Slave02（DateNode）41Slave03（DateNode）431. 环境搭建（所有机子都得配制，基本用root用户操作）：1) 确认安装openssh与rsyncrpm -q opensshrpm -q rsync如果没有安装可以通过yum install openssh来完成安装。2) 确认安装JDKjava -version或javac如果没有安装，这里以jdk-7u21-linux-x64.tar.gz为例u 解压：tar -xvf jdk-7u21-linux-x64.tar.gzu 在/etc/profile中配制如下：JAVA_HOME=/opt/jdk7（根据其实情况）JRE_HOME=$JAVA_HOME/jreCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME JRE_HOME CLASSPATH PATHu 让环境变量生效：source /etc/profile3) 用户与组的创建groupadd hadoopuseradd -g hadoop hadoop4) 其他环境配制（其实可以不用，因为可以通过IP直接访问的，主要为了方便记忆）u 修改主机名vi /etc/sysconfig/network修改HOSTNAME为相应的名称（master、slave01、slave02、slave03）u 修改Hosts添加如下（根据实际情况）40 slave0141 slave0243 slave0342 master5) 配制ssh的无密码登陆切换到hadoop用户ssh-keygen -t rsa所有默认回车会在.ssh下产生以下两个文件：id_rsa（私钥，产生私钥的机子，即主动访问的机子拥有）、id_rsa.pub（公钥，发给被访问机子）。比如现在在master机子中生存密钥hadoopmaster .ssh$ ssh master（42）会要求输入密码hadoopmaster .ssh$ cat id_rsa.pub authorized_keys此时再sshmaster就不需要密码了，然后把id_rsa.pub公钥copy到slave机子中去hadoopmaster .ssh$ scp id_rsa.pub hadoopslave01:/.ssh/scp authorized_keys slave01:/home/hadoop/.ssh/系统会要求输入访问机子的密码，正确输入密码后可以完成copy。在slave01机子中用hadoop用户登陆，cat id_rsa.pub authorized_keys此时master机子就可以无密码ssh到slave01了，同理做相同操作到slave02、slave03这时master可以无密码ssh登陆到所有slave了。现在，还要做的就是让所有slave结点可以无密码登陆到master，操作也一样。2. 软件安装（用hadoop用户操作）这里在master下操作，其实就hadoop-1.1.2-bin.tar.gz在hadoop主目录中（/home/hadoop）1) 解压hadoop包tar -xvf hadoop-1.1.2-bin.tar.gz2) 修改权限（如果遇到问题，可以用root用户操作）chown -R hadoop:hadoop hadoop-1.1.2chmod -R 755 hadoop-1.1.23) 配制Hadoop的PATH（这步所有机子最好都配制）在/.bash_profile（其实也可以修改/etc/profile配制文件）中修改如下PATH=$PATH:$HOME/bin:/home/hadoop/hadoop-1.1.2/bin（根据实际情况）export PATH使配制文件生效source /.bash_profile4) 修改hadoop配制u vi / hadoop/conf/core-site.xml添加如下配制hdfs:/master:9000truehadoop.tmp.dir/home/hadoop/hadoop/data/hdfs/tmpu vi / hadoop/conf/mapred-site.xml添加如下配制mapred.job.trackermaster:9001u vi / hadoop/conf/ hdfs-site.xml添加如下配制.dir/home/hadoop/hadoop/data/hdfs/nametrue dfs.permissions falsedfs.data.dir/home/hadoop/hadoop/data/hdfs/datatruedfs.replication1trueu 新建一下配制文件中的目录，并将全线更改为755/home/hadoop/hadoop/data/hdfs/tmp/home/hadoop/hadoop/data/hdfs/name/home/hadoop/hadoop/data/hdfs/datachmod -R 755 /home/hadoop/hadoop/data/hdfs/datachmod -R 755 /home/hadoop/hadoop/data/hdfs/namechmod -R 755 /home/hadoop/hadoop/data/hdfs/tmpu 修改集群配制vi /hadoop/conf/masters修改为master或对应的IP地址vi /hadoop/conf/slaves修改为slave01slave02slave035) 将hadoop软件copy到其他机子中去hadoopmaster $ scp hadoop-1.1.2 hadoopslave01:/hadoopmaster scp -r /home/hadoop/hadoop slave01:/home/hadoop/此时会发现不要求输入密码，在copy公钥id_rsa.pub时会要求输入密码，因为此前已经将公钥对应机子中去了，且保存到authorized_keys中去了，就不需要输入密码了，这也从侧面说明了无密码ssh登陆的成功配制。6) 关掉防火墙切换到root用户（su root）service iptables stop7) 格式化namenode在master（hadoop/bin下）机子中：hadoop namenode format碰到重新格式化时Re-format filesystem in /home/hadoop/hadoop/data/hdfs/name ? (Y or N) 要要输入Y，不是y8) hadoop集群启动在master下启动集群即可hadoopmaster $start-all.sh（因为已经将hadoop添加到PATH中去了）检验master：输入jps3711 NameNode4085 Jps3970 JobTracker3874 SecondaryNameNode检验slave：输入jps2892 Jps2721 DataNode2805 TaskTracker或在master输入：hadoop dfsadmin -reportSafe mode is ONConfigured Capacity:(14.42 GB)Present Capacity:(12.79 GB)DFS Remaining:(12.53 GB)DFS Used: 276422656 (263.62 MB)DFS Used%: 2.01%Under replicated blocks: 0Blocks with corrupt replicas: 0Missing blocks: 0-Datanodes available: 3 (3 total, 0 dead)Name: 43:50010Decommission Status : NormalConfigured Capacity: 5160566784 (4.81 GB)DFS Used: 41160704 (39.25 MB)Non DFS Used: 582455296 (555.47 MB)DFS Remaining: 4536950784(4.23 GB)DFS Used%: 0.8%DFS Remaining%: 87.92%Last contact: Mon May 06 16:12:02 CST 2013Name: 40:50010Decommission Status : NormalConfigured Capacity: 5160566784 (4.81 GB)DFS Used: 97075200 (92.58 MB)Non DFS Used: 582545408 (555.56 MB)DFS Remaining: 4480946176(4.17 GB)DFS Used%: 1.88%DFS Remaining%: 86.83%Last contact: Mon May 06 16:12:01 CST 2013Name: 41:50010Decommission Status : NormalConfigured Capacity: 5160566784 (4.81 GB)DFS Used: 138186752 (131.79 MB)Non DFS Used: 582406144 (555.43 MB)DFS Remaining: 4439973888(4.14 GB)DFS Used%: 2.68%DFS Remaining%: 86.04%Last contact: Mon May 06 16:12:00 CST 2013此时都表示集群成功。9) hadoop集群关闭hadoopmaster $stop-all.sh3. 注意事项 集群开启一会儿就自动关闭了，可能是防火墙的问题关掉防火墙一般就可以了，在slave下的hadoop/logs下的日志文件中查看就会发现报Caused by: .NoRouteToHostException: No route to host的错。 机子重启后集群出错先看一下防火墙是否关闭，可能是因为在配制hadoop的时候都是默认的，如.dir没有配制，即为默认，