细细品味Hadoop（Hadoop安装及配置）

——Hadoop安装及配置精华集锦csAxp虾皮工作室ogscomxiapi张鹏一一、集群网络环境介绍可以相互ping通。节点IP地址分布如下：在/etc/hosts上添加主机名和相应的IP地址： 1、安装和启动SSH协议所有机器上安装SSH协议并启动服务，在所有机器上执行以下命令:sudoyuminstallsshSSH协议同步多台主机间的文件)$sshsudo/etc/init.d/sshrestart启动服务命令执行完毕，各台机器之间可以通过密码验证相互登陆。2、配置Namenode无密码登录所有Datanode e Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/home/hadoop/.ssh/id_rsa):默认路径Youridentificationhasbeensavedin/home/hadoop/.ssh/id_rsa.ip地址”来验证。3、配置Datanode无密码登录Namenode1、CentOS下安装JDK1.6$$installjdk2、Java环境变量配置在所有机器上执行如下命令：vim/etc/profile。并加入以下内容，配置环境变量##setjavaenvironment保存并退出，执行以下命令使配置生效：配置完毕，在命令行中使用命令”java-version”可以判断是否成功。1、下载hadoop-0.20.2.tar.gz到/etc/profile中修改/etc/profile文件(配置java环境变量的文件)，将以下语句添加到末尾，并使其有效(source/etc/profile)：2、编辑Hadoop的配置文件 末尾加入以下语句##setjavaenvironment ml hadoopinstalltmp <description>Abaseforothertemporarydirectories.</description> property<!--filesystemproperties--> property property 配置hdfs-site.xml文件configuration property anode property configuration property property masters文件,加入namenode的ip地址 (6)配置slaves文件,加入所有datanode的ip地址将namenode上配置好的hadoop所在文件夹hadoopinstall复制到没问题)。在datanode上修改/etc/profile文件(配置java环境变量的文件)，将以下语句添加到末尾，并使其有效(source/etc/profile)：tasktracker2。datanodetmpdfs和mapred文件夹。在namenode上用java自带的小工具jps查看进程JobTrackerJps在每个datanode上查看进程TaskTrackerinjpsBDFSUsedKBUnderreplicatedblocks:0Blockswithcorruptreplicas:0 DatanodesDatanodesavailable:2(2total,0dead)comhadooporfoxmailcomJREhttpwwwjavacomzhCN/download/manual.jspJavaSE2.安装Cygwinwinn版本。insetupexesetupexesetupexe示的对话框：2345定”即可。67示：8在上图所示的对话框中，选中“CreateicononDesktop”，以方便直接从桌面上启动3.配置环境变量94.安装sshd服务ig5.启动sshd服务入Windows计算机6.配置ssh登录cd.ssh/rsapubauthorizedkeys这个错误暂无解决办法，问题的解决情况，可关注Hadoop技术论坛中的贴：/thread-348-1-1.html(Cygwin1.7.1版本ssh问题)。否则，如果成功，7.下载ha