hadoop入门-分布式hadoop安装.doc

一:准备4台集群的机器.1 234root账号修改 4台机器的 /etc/hosts 文件,添加如下:1hadoop1 #namenode+job2hadoop2 #datanode3hadoop3 # datanode4hadoop4 # datanode在每台服务器上创建4个一样的hadoop用户:1. useradd hadoop #加用户2. passwd hadoop #修改密码二:创建SSH免密码登录hadoop 账号在namenode节点上,查看 ssh localhost 是否是免密码的,如果不是,执行下面命令:a) 生成公钥密钥:ssh-keygen -t dsa -P -f /.ssh/id_dsa执行完成之后,会在 /.ssh/ 下生成 id_dsa.pub 和 id_dsab) 把 id_dsa.pub 文件内容复制到 authorized_keys 文件里:cat /.ssh/id_dsa.pub /.ssh/authorized_keys执行完成后会在 /.ssh/ 下生成 authorized_keys删除 id_dsa.pub 文件: rm rf id_dsa.pubc) 将 authorized_keys复制到各个datanode节点上:在各个子节点上创建 .ssh 文件夹:mkdir /home.hadoop/.ssh将证书文件拷贝到各台机器上(会提示输入密码):scp authorized_keys hadoop2:/home/hadoop/.ssh/scp authorized_keys hadoop3:/home/hadoop/.ssh/scp authorized_keys hadoop4:/home/hadoop/.ssh/d) 将各个datanode 节点下的 .ssh 权限改成 700, authorized_keys 改成600改完后应该就差不多可以了,在 hadoop1 机器上 依次执行: ssh hadoop2 ,ssh hadoop3 , ssh hadoop4, 如果都不用密码的话,表是成功. 三:安装jdk用root账号安装,可以下载个bin文件,我的是 jdk-6u23-linux-i586-rpm.bin , 直接 ./ jdk-6u23-linux-i586-rpm.bin 安装, 默认路径在 /usr/java/jdk1.6.0_23/ 下,4台机器都一样,注意点:安装的路径一定要一样.四:安装配置Hadoop用hadoop账号,下载 hadoop-.tar.gz ,放在 /home/hadoop/ 下,修改 hadoop-.tar.gz 权限: chmod 700 hadoop-.tar.gz解压: tar zxvf hadoop-.tar.gz ,完成后会生成 hadoop- 目录,进入hadoop-/conf/ 下按照如下方式修改下面文件:1. Namenode配置: core-site.xml: hadoop.tmp.dir /tmp/hadooptmp A base for other temporary directories. hdfs:/hadoop1:9000 The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uris scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uris authority is used to determine the host, port, etc. for a filesystem. 2. Tracker配制:Mapred-site.xml: mapred.job.tracker hadoop1:9001 The host and port that the MapReduce job tracker runs at. If local, then jobs are run in-process as a single map and reduce task. mapred.hosts slaves.include show slaves node 3. 备份:Hdfs-site.xml dfs.replication 1 backup 4. 备用namenode节点:Masters:hadoop15. 集群配置 slaves:hadoop2hadoop3hadoop46. Hadoop环境配置:hadoop-env.sh把 export JAVA_HOME 前面的 “#” 去掉,改成你本机安装的jdk的路径到此,hadoop配置已经完成.7. 把hadoop分发给各个子节点:a) 删除hadoop1(namenode)节点上安装之后的.tar.gz包:i. rm rf hadoop-.tar.gzb) 把hadoop1(namenode)节点上配置好的hadoop打个包:i. tar vczf hadoop-.tar.gz hadoop-8. 把已经配置好的压缩包 hadoop-.tar.gz 分发到各个子节点:a) scp hadoop-.tar.gz hadoop2:/home/hadoop/b) scp hadoop-.tar.gz hadoop3:/home/hadoop/c) scp hadoop-.tar.gz hadoop4:/home/hadoop/d) 每个节点上解压hadoop-.tar.gz 9. 回到hadoop1 (namenode)节点上,运行hadoopa) 进入到/home/hadoop/hadoop/bin/下:i.