从CentOS安装到Hadoop240完全分布式配置

1、从CentOS安装到Hadoop2.4.0 完全分布式配置分类：hadoop 2014-05-01 11:07 465 人阅读评论(0)收藏举报hadoop分布式集群centos目录卜1.前提1.安装VMware2.安装centos641.网络配置2.正式安装2.配置Ma.ster1.连接网络2.修改主机名3.创建工作组和用户4.安装JDK 和 Hadoop5.配置hadoop1.3.安装配置slave1.另外安装slave2.克隆4.设置SSIH无密码登录5.启动Hadoop1. 前提需要提前下载的有：1、JDK-1.8.02、hadoop-2.4.03、putty以上资源，包括VMware

2、、Ce ntOS镜像文件、相关配置文件都可以在我的网盘中下载到:禁用 url 了http:/p a n . b a i d u .com/s/1jGhxyXCPS:网盘中CentOS和JDK都只适合32位的，64位CentOS6.4自行找资源64位JDK可以点官网：/tech network/java/javase/dow nl oads/jdk8-dow nl oads-2133151.html1.1安装VMwareVMware安装比较简单，网盘中有安装文件，遇到什么问题请百度之，此处不再罗嗦1.2安装 centos网络配置打开VMwa

3、re-编辑-虚拟网络编辑器如图配置类型VMretfl 薪提槿式自动桥搖 加战仮主机-2外部连接主机逹接子网地址匚 F1已连接已启用 n.ies.ao.o已连接i济加网路移际网谿也碱信息桥接槿式開虚拟机首接连接那卜部网络溜 桥鞍到：|詞。NAT檯式f与虚拟机#享主机的1P地址)蚀仅主机橙式啦査用闷络內逹按虛报机)已WAT 设(5j-1.V ；捋主机虚枫适乐器缽毗璟他 主机虚拟适幌器容称:曲问已冏络适酉藩肚尼宦S.便用本地服势捋ip地址归配给虛拟机DHCP i殳盍Q子网擅冏：2-55 .255 . Z55 . 0-福定_ I匚舰消 壷用囚1.2.2正式安装Hadoop完全

4、分布式集群至少须要两台虚拟机，考虑到内存占用量大的问题，此处推荐以下 配置内存安装模式IP地址Master1GMini mal Desktop00Slavel512MMini mal1IP地址可以随意配置，只要在同一网段内就行。stepl:打开VMware-文件- 新建虚拟机选自定义（高级）”-下一步 step2:选稍后安装操作系统-选择linux系统、版本CentOS-名称、位置随意-处理器核数 根据自己情况选- 内存选择512M :只能安装命令行模式，32位2G内存可以同时运行 3台虚拟机（也够呛了）1G :可以安装多种带图形操作界面模式

5、，32位2G内存可以同时运行 2台虚拟机随后一直点确认就对了step3:在创建好的虚拟机上右键-设置虚拟机，点 CD/DVD载入CentOS6.4映像文件，运 行虚拟机step4:运行虚拟机下面以1G安装为例（区别在于：安装界面稍有不同，512M需在安装完成后才能配置网 络和主机名，1G在安装过程中可配置）：因为是虚拟机，所以安装过程中提示的“是否检查磁盘”“是否格式化”之类的全部都 选最省时的选项吧。DNS服务器地址查看方法：开始-运行-cmd-输入命令 “ ipconfig -all ” 找到DNS地址填入下图step 5选择好安装模式，设置好用户名密码、根据提示完成安装。step 6以r

6、oot身份登录CentOS2. 配置 MasterIP地址等，则打开终端，pi ng 看2.1连接网络如果在安装过程中已经配置好一下是否能 ping通。如果无法ping通，查看VMware相关的服务是否开启了。查看方法：控制面板-管理工具-服务找到以“ VMware ”开头的服务，未开启则全部右键开启仍然无法ping通，则根据一下步骤重新配置一下：stepl :打开终端，输入 vi/etc/sysco nfig/network-scripts/ifcfg-ethO（新手提示：按tab可以自动填充路径的在终端输入命令时多按tab可以减少输入错误）主要确认以下配置：（物

7、理地址HDDR不要乱改）html view plai ncopy f1.DEVICE=ethO2.ONBOOTyes3.BOOTPROTOstatic4.IPADDR=192 .168.224.100/ip地址5.NETMASK/子网掩码6.GATEWAY/网关7.DNS1=192 .168.10.8/DNS地址8.DNS2=192 .168.11.8step2:输入：service network restart重启网络服务pi ng 看一下能不能 pi ng通2.2 修改主机名vi /etc/sysc on fi

8、g/networkhtmlview pla in copy1. NETWORKIN=yes2. HOSTNAMEmastervi /etc/hosts替换成以下内容html view plaincopy1. 00 master2. 1 slaver12.3创建工作组和用户创建用户组：hadoop，然后在此用户组下创建hadoop用户。root master # groupadd hadooproot master # useradd -g hadoop -d /home/hadoop hadoop/home/hadoop)这是hadoop的基

9、本要hadoop”是所创建的用户名，-d指明hadoop”用户的home目录是root master # passwd hadoop 给用户 hadoop 设置口令1) .在真实集群分布模式下，要求集群中所有节点使用相同的用户名，求。比如，可以使用hadoop”作为所有节点上统一的用户名。2) .并且要求在所有节点上安装的hadoop系统具有完全一致的目录结构。2.4 安装 JDK 禾口 Hadoopstep1 :解压 puttystep2 :运行cmd，把JDK和Hadoop安装文件传送到虚拟机中具体操作：cd到putty安装目录下，比如说我的安装路径为G:putty，则g：1. C:use

10、rtest2. C:usertest3. C:usertest4. C:usertesthtml view plai ncopy cd puttypscp jdk所在位置hadoop00:/home/hadoop/pscp hadoop所在位置hadoop00:/home/hadoop/step3 :在root身份下安装 JDKcd /home/hadoop/rpm -ivh jdk-8u5-l inu x-i586.rpmJDK 默认安装在/usr/java/目录下step4 :配置环境变量（此处顺便把HADOOP 起配置了，虽然它还没安装

11、）vi /etc/profile在最后面添加以下内容html view plaincopy1. exportJAVA_H0ME/usr/java/jdk1.8.0_052. exportJRE_H0ME/usr/java/jdk1.8.0_05/jre3. exportCLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib4. exportHAD00P_H0MEhome/hadoop/hadoop-2.4.0/5. exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HAD

12、OOPHOME/sbin使配置生效source /etc/profile在terminal中输入java -version看一下是否配置成功，如果配置成功会显示JAVA的版本号等信息。step5:安装 hadoopsu hadoop / 用 hadoop 身份登录cd tar -zxvf hadoop-240.gzip.tar /把 hadoop 解压至U /home/hadoop/ 目录下2.5 配置 hadoopcd /hadoop-2.4.0/etc/hadoop/修改以下文件内容：hadoop-e nv.shhtml view pla in copy _c1. #export JAVA

13、_HOME$JAVA_HOME2. export JAVA_HOME/usr/java/jdk1.8.0_05/core-site.xml1. 2. ?xml-stylesheet type =text/xsl href =configuration.xsl3. 4. 5. fs.defaultFS 6. hdfs:/00:9000/7. 8. hdfs-site.xmlhtml view plaincopy1. 2. ?xml-stylesheet type =text/xsl href =configuration.xsl3. 4. 5. node

14、.name.dir 6. /home/hadoop/hadoop-2.4.0/hdfs/name7. 8. 9. dfs.datanode.data.dir10. /home/hadoop/hadoop-2.4.0/hdfs/data11. 12. ?yarn-site.xmlhtmlview pla in copy1. 2. 3. 4. yarn.nodemanager.log-dirs 5. /home/hadoop/hadoop-2.4.0/yarn/log6. 7. slaveshtml view plai ncopy f1. master2. slavel如果你比较懒，也可以下载上文

15、提供的网盘中的文件，把它们发送到虚拟机中。方法参考2.4 中的 step2,如果要传送整个目录led win中的目录psftp -r 目录名 新目录名关于 psftp 更多相关命令：/greenzb/article/details/42161283.安装配置slave有两种方法：1.克隆master,修改配置变成slave2.另外安装一台slave克隆出来的slave配置与master一模一样，如果想要低配一点的 slave，则要另外安装。3.1另外安装slave为什么要另外安装这么麻烦？因为楼主的32位2G渣机开两台1G虚拟机时，想开个word写技术文档

16、都得卡得想死啊，（内存都达 98%了 TAT显卡过热蓝屏是家常便饭。）安装步骤与上面基本一致，配置时可以偷偷懒从master机里用scp命令 直接把hadoop文件夹等复制过去（复制过去后注意文件拥有者是否与master中的一致）3.2克隆在VMware中有克隆虚拟机的功能，选中要克隆的虚拟机master,完整克隆一台slavel ,完成后启动slavelstepl修改主机名：vi /etc/syscon fig/networkhtml view plaincopy1. NETWORKIN=yes2. HOSTNAMEmasterstep2修改网络配置：执行：vim /etc/udev/rul

17、es.d/70-persiste nt-net.rules把 eth1 改成 ethO,记下 ATTRaddress执行：vi /etc/sysconfig/networking/devices/ifcfg-eth0修改：IPADDR=1修改：HWADDR=上面记下的ATTR address（或者在虚拟机设置中选中网络适配器”-“高级”得到MAC地址）执行：reboot 重启重启后ping 看一下是否能ping通，ping不通说明网络没配置好ping 不通时：vim /etc/udev/rules.d/70-persistent-net.ru

18、les 看一下什么情况，如果多一行ethl即eth0 ethl都有的情况，把 ethO那行删了， ethl改成ethO,再修改ifcfg-ethO把物理地址改成与上面配置中的ethO 一致4.设置SSH无密码登录stepl:打开两台虚拟机，登录到master中，执行如下命令：ssh女口果提示 Bash : ssh comma nd not found则yum in stall ope nssh-clie nts安装openssh安装完成后换成hadoop身份登录执行如下命令:ssh-keyge n -t dsa -P ” -f /.ssh/id_dsacat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/id_dsa.pub slave1:/.ssh/authorized_keys中间可能需要输入密码，按提示输入即可。然后记得修改文件权限修改 authorized_keys 权限为 600chmod 600 /home/hadoop/.ssh/authorized_keys现在分别执行如下命令ssh localhostssh slavel不需要再